IBM 11链接Hadoop最佳实践

大数据标志着业务分析的新时代到来，各商业组织现在有机会就数据在容量、速度和多样性的传统处理能力不足问题上作出更加明智的决策。IBM 具有得天独厚的优势, 可以提供全面的技术和服务, 从大数据中吸取可操作的洞察力，通过与如IBM InfoSphere BigInsights 为代表的Hadoop技术互链, IBM Cognos 商业智能现在可以轻松访问非结构化源数据, 从而使业务分析人员能够接触到大量非结构化数据中发现的关键洞察。

简而言之, Hadoop 是一个用于操作大型数据集的分布式平台。它建立了容错能力, 这使得它吸引了停机时间可能影响业务流程的组织。Cognos 是一种商业智能工具, 它允许用户浏览和报告数据。然而, Hadoop 并没有像其它技术所评论的那样, 自己进行即席查询。这里只有一个Hadoop 项目可以做到这点——Hive。开发人员已经发布了 ODBC 连接器来访问配置单元数据库 (这仅仅是您的 Hadoop 数据的数据仓库视图, 可以使用称为 Hive QL 的类似 SQL 的语言进行查询)。由于 Cognos 可以从 ODBC 数据库中提取数据, 因此 Cognos 可以通过配置单元从 Hadoop 提取数据。

在最新的Cognos Analytics 11环境中使用 Hadoop 的另一种方法是使用文本文件 (如 CSV) 传输数据。Hadoop 可以生成一个数据文件, 然后可以将其导入到 Cognos 中。

然而, 为什么要使用 Hadoop 来连接Cognos呢？举个例子，我使用 Hadoop 的两个应用程序是库存预测和现金流量/预算，如果您正在尝试执行对数十万 SKU 的常规预测, 则 Hadoop 是一个非常好的工具。另外，如果您试图执行蒙特卡洛模拟超过1000预算项目, Hadoop 也是非常棒的选择。只需从数据仓库导入数据, 运行您的 Hadoop 作业, 然后将生成的 CSV 文件导入 Cognos，一切就完成了。

不过要小心, Hadoop 不是万能药。有时,传统的SQL和你的编程语言的选择效果是一样好的，或则更好，因为Hadoop 带有学习曲线和资源需求。你可以通过下载 Hortonworks 的沙箱学习：它是一个预配置的虚拟机, 在 VMware中运行。所以你不必安装或配置任何东西。

另外，IBM InfoSphere BigInsights为IBM官方的Hadoop产品，本文将用该产品作为Hadoop的链接对象，并且，将通过Cognos最新的Hadoop链接能力说明，来为Cognos的大数据使用作指导。

IBM Cognos 11新特性
首先，Cognos升级到Cognos 11版本有很多重大的变化，名称也由Cognos Business Intelligence变更为Cognos Analytics，从而更加强调分析能力，比如时下流行的敏捷BI，大数据可视化，协同等能力。即很好的保持了Cognos以往稳健的数据工程学体系，来保证用户对于数据的信任，另一方面也提供了简洁的界面来增强用户的使用体验，并且支持云部署。特别是引入的协同能力能使得组织能够轻松地在成百上千的用户和他们的生态系统中共享知识，并为驱动业务结果的决策和操作提供动力。新的Cognos Analytics提供了以下功能:

（1）提供用户端分析

可定制的用户界面，为桌面、平板电脑和智能手机提供一致的体验
综合搜索功能，帮助您导航和快速访问已知内容和发现新内容
自动选择基于数据类型的最佳默认可视化
易于访问参考模板和样式以创建一致的和专业的报告
能够通过引导菜单个性化您的分析环境，并更容易地导航内容，包括收藏夹、通知和我的内容
共享报告和数据模型，为创建新的、扩展的报告和数据模型提供了基础
（2） 提供分析和内容的创作

更快速的格式和风格的选择，在需要的地方。
更快地构建交互式报告和预览内容(演练、排序或筛选)。该解决方案还允许用户在web上启动或移动，反之亦然。
更容易将数据拖放到一个可以自动显示数据的环境中。
（3） 提供建模能力

使用搜索启用完全基于Web和基于意图的建模。
支持快速创建新模型或修改现有模型的能力，更改模型属性，并提交给每个人使用，并报告多个模型。
提供在相同环境中测试和验证模型的能力。
IBM Cognos 11对Hadoop的支持
在Cognos11最新的功能里，也强化了对于Hadoop的支持，首先，Hive是一个驻留在Hadoop之上的数据仓库系统，Hive提供了数据提取，转换和导入（ETL）工具，它可以添加结构到甚至是基于文本的数据源中，并且能够嵌入大量数据分析到Hadoop的分布式文件系统Hadoop Distributed File System（HDFS）中。

Cognos商业智能系统能生成HiveQL去调用查询BigInsights文件系统，Cognos商业智能服务器通过BigInsights配置Hive JDBC驱动程序链接到BigInsights。Hive目录的元数据可以导入进Cognos Framework Manager，并作为商业智能的元数据建模发布包含BigInsights内容包到Cognos的商业智能服务器中。这些包可以用于创建Cognos报表（包括Cognos互动报表），仪表盘，以及WorkSpaces，同时驱动Big Insights的里的Map/reduce的能力。

Cognos与Hadoop的连接架构图

总结
通过Hadoop的链接，有许多新的信息来源现在可以在Cognos 商业智能上进行分析，而这些重要的数据来源以前却因技术限制而被放弃。这使用户可以利用Cognos 的优势, 在诸如仪表盘, 报表分发,和数据可视化, 和 对BigInsights 的大规模并行处理能力支持。本文中描述的互操作性仅仅是IBM Cognos 商业智能和Hadoop之间的集成的一个未来重要的里程碑。