Hadoop3与Hadoop2及Spark比较

     2017年12月发布的Hadoop 3标志着数据科学新时代的开始。Hadoop框架是整个Hadoop生态系统的核心，其他各种库都依赖它。

     在本文中，我们将讨论Hadoop 3与Hadoop 2相比的主要变化。我们还将解释Hadoop和Apache Spark之间的差异，并建议如何为您的特定任务选择最佳工具。

概要

     Hadoop 2和Hadoop 3是用Java开发的数据处理引擎，分别于2013年和2017年发布。创建Hadoop的主要目标是维护磁盘上的数据分析，称为批处理。因此，原生Hadoop不支持实时分析和交互性。

     Spark 2.X是Scala开发的处理和分析引擎，于2016年发布。对信息的实时分析变得至关重要，因为许多巨型互联网服务强烈依赖于立即处理数据的能力。因此，Apache Spark是为实时数据处理而构建的，现在很受欢迎，因为它可以在交互模式下有效地处理实时信息流和处理数据。

     Hadoop和Spark都是开源的，Apache 2许可。

抽象程度和学习和使用的难度

     这些框架之间的主要区别之一是抽象级别，Hadoop低，Spark高。因此，Hadoop的学习和使用更具挑战性，因为开发人员必须知道如何编写大量基本操作。Hadoop只是核心引擎，因此使用高级功能需要其他组件的插件，这使得系统更加复杂。

     与Hadoop不同，Apache Spark是一个完整的数据分析工具。它具有许多有用的内置高级功能，可以使用弹性分布式数据集（RDD） - Spark中的核心概念。该框架包含许多有用的库。例如，MLlib允许使用机器学习，Spark SQL可用于执行SQL查询等。

硬件和成本

     Hadoop适用于磁盘，因此无需大量RAM即可运行。这可能比拥有大RAM便宜。由于容错提供系统的变化，Hadoop 3比Hadoop 2需要更少的磁盘空间。

     Spark需要大量RAM才能在内存模式下运行，因此总成本可能比Hadoop更昂贵。

支持编程语言

     两个版本的Hadoop都支持使用Hadoop Streaming的几种编程语言，但主要的是Java。Spark 2.X支持Scala，Java，Python和R。

速度

     通常，Hadoop比Spark慢，因为它适用于磁盘。Hadoop无法将数据缓存在内存中。由于向MapReduce添加了map输出收集器的原生Java实现，Hadoop 3的工作速度比Hadoop 2快30％。

     Spark在处理内存中信息，所以可以比Hadoop快100倍。如果使用磁盘，Spark比Hadoop快10倍。

安全

     由于使用了Kerberos（计算机网络身份验证协议）和访问控制列表（ACL）的支持，Hadoop被认为比Spark更安全。Spark依次使用共享密码提供身份验证。

容错

     Hadoop 2中的容错是由复制技术提供的，其中复制每个信息块以创建2个副本。这意味着Hadoop 2存储的信息不是存储1条信息，而是存储3条信息。这引起了浪费磁盘空间的问题。

     在Hadoop 3中，通过擦除编码提供容错。该方法允许使用另一个块和奇偶校验块来恢复信息块。Hadoop 3在每两个数据块上创建一个奇偶校验块。这需要的磁盘空间仅为1.5倍，而Hadoop 2中的复制次数则为3倍.Hadoop 3中的容错级别保持不变，但其操作所需的磁盘空间更少。

     Spark可以通过重新计算DAG（有向无环图）来恢复信息。DAG由顶点和边形成。顶点表示RDD，边表示RDD上的操作。在某些部分数据丢失的情况下，Spark可以通过将操作序列应用于RDD来恢复它。请注意，每次需要重新计算RDD时，都需要等到Spark执行所有必要的计算。Spark还创建了检查点以防止故障。

YARN版

     Hadoop 2使用YARN版本1. YARN（Yet Another Resource Negotiator）是资源管理器。它管理可用资源（CPU，内存，磁盘）。此外，YARN执行作业调度。

     YARN在Hadoop 3中更新为版本2.有几个重大变化提高了可用性和可伸缩性。YARN 2支持流 - YARN应用程序的逻辑组，并在流级别提供聚合度量。收集过程（写入数据）和服务过程（读取数据）之间的分离提高了可伸缩性。此外，YARN 2使用Apache HBase作为主要后备存储。

     Spark可以在具有YARN的群集上独立运行，也可以与Mesos一起运行。

NameNodes的数量

     Hadoop 2支持整个命名空间的单活动NameNode和单备用NameNode，而Hadoop 3支持多个备用NameNode。

     Spark在管理SparkContext的主节点上运行驱动程序。

文件系统

     主要的Hadoop 2文件系统是HDFS - Hadoop分布式文件系统。该框架还兼容其他几个文件系统，如Amazon S3和Azure存储的Blob存储，以及分布式文件系统。

     Hadoop 3支持所有文件系统，如Hadoop 2.此外，Hadoop 3 与Microsoft Azure Data Lake和Aliyun对象存储系统兼容。

     Spark支持本地文件系统，Amazon S3和HDFS。

     为方便起见，我们创建了一个表格，总结了上述所有信息，并简要比较了两个版本的Hadoop和Spark 2.X的关键参数。

结论

     Hadoop 3和2之间的主要区别在于新版本提供了更好的优化和可用性，以及某些体系结构改进。

     Spark和Hadoop主要在抽象层次上有所不同。Hadoop被创建为处理大量现有数据的引擎。它具有较低的抽象级别，允许执行复杂的操作，但可能导致学习和管理困难。Spark更容易，更快捷，具有许多方便的高级工具和功能，可以简化您的工作。Spark在Hadoop之上运行，并且拥有许多优秀的库，如Spark SQL或机器学习库MLlib。总而言之，如果您的工作不需要特殊功能，Spark可能是最合理的选择。