如何使用Hadoop和Spark构建一个通用的大数据引擎

Apache Hadoop和Apache Spark是复杂的技术，如何将这些架构结合使用往往被许多组织误解。投资这两种技术可以实现广泛的大数据分析和应用程序开发用例。

Niru Anisetti是IBM的Spark产品和下一代大数据平台产品管理团队的项目总监，Rohan Vaidyanathan是IBM的高级产品经理，也是IBM云数据服务团队的领导者。Anisetti是一位屡获殊荣的产品专家，拥有Hadoop和Spark经验的软件工程和产品开发背景。在过去三年中在大数据领域工作时，Vaidyanathan目睹了采用大数据技术（如Hadoop和Spark）的组织数量和种类的激增。他还观察了最近在云中利用数据服务的趋势。

当您与客户谈论大数据技术时，您是否会对他们对Hadoop和Spark的优缺点有充分的了解？

Rohan Vaidyanathan：许多已经投资Hadoop，Spark或两者的公司都非常清楚他们在做什么。但是，仍然存在大量组织，这些组织处于采用大数据的边缘，并且在这些组织开始尝试定义其新的大数据架构时，会出现一些经常导致问题的关键误解。

例如，许多在线文章都将Spark作为Hadoop的继承者，甚至作为Hadoop的替代品。Spark可以比Hadoop快10到100倍执行一项工作，或者更确切地说，MapReduce; 但是Spark不仅仅是集群的运行时方面。

Niru Anisetti：我的简短回答是，“不。”我们已经开始与Spark合作的许多公司正在使用他们的样本数据来探索分析。在最好的猜测估计在IBM是，企业90％左右的挑战是要找到投资回报&#