为您的 Hadoop 和 Spark 项目选择 IBM Open Platform

当 2006 年启动 Apache Hadoop 时，它是 IT 历史上最具有突破性和颠覆性的技术之一。随着越来越多的企业认识到大数据的价值，Hadoop 与主流业务之间的联系从未像现在这么紧密。随着 Apache Spark 和其他新的开源项目兴起，Hadoop 生态系统现在已经能够提供更快更丰富的分析工具来帮助公司利用大数据。
IBM Open Platform (IOP) 是由一批 IBM 经验丰富的 Hadoop、Spark 和大数据专家提供支持的开源组件。IOP 符合 ODPi，包含我们认为最佳的组件组合，能为大部分常见的大数据用例提供丰富的功能。
本文将介绍该发行版和它的一些 IOP 组件。在后续文章中，我们将从 IBM 主题专家角度对特定的 Apache Hadoop 项目和相关用例进行更深入的讨论。
了解该发行版的组件
IOP 发行版的一些功能和组件（如 图 1 所示）包括：
处理：Spark 和 MapReduce
集成：Sqoop、Flume 和 Kafka
存储：HDFS
安全性：Ranger 和 Knox
脚本：Pig
搜索：Solr
管理：Ambari、YARN、Oozie 和 Slidr
数据科学：System ML、Hydra R、Spark R 和 Titan
SQL 和 NoSQL：Phoenix、HBase 和 Hive
图 1 图形化地显示了当前的组件和它们的相互关联。

详细内容为您的 Hadoop 和 Spark 项目选择 IBM Open Platform