Hadoop1.x与Hadoop2.x的区别？

Hadoop--解读大数据雪崩的解决方案，从谷歌2003年发布论文和2004年MapReduce论文开始已经走过了漫长的道路。它通过横向扩展而不是扩展战略创造了波澜。来自Doug Cutting以及雅虎和Apache Hadoop项目团队的进展推动了MapReduce编程的普及 - 这种编程适用于I / O密集型数据处理，不适用于交互式分析、迭代计算（Spark更好）、流式计算（Storm更好）方面。这为进一步发展Hadoop1到Hadoop2铺平了道路。下表描述了它们之间的主要区别：

Index	Hadoop1	Hadoop2
1	仅支持MapReduce（MR）处理模型。不支持非MR工具	允许在MR以及其他分布式计算模型（如Spark，Hama，Giraph，消息传递接口）MPI和HBase协处理器中工作。
2	MR执行处理和集群资源管理。	YARN（又一个资源协商器）进行集群资源管理和处理是使用不同的处理模型完成的。
3	具有有限的节点缩放。每个群集限制为4000个节点	具有更好的可扩展性。每个群集最多可扩展到10000个节点
4	适用于插槽的概念 - 插槽只能运行Map任务或Reduce任务。	适用于容器的概念。使用容器可以运行通用任务。
5	用于管理整个命名空间的单个Namenode。	多个Namenode服务器管理多个名称空间。
6	具有单点故障（SPOF） - 由于单个Namenode-并且在Namenode故障的情况下，需要手动干预来克服。	必须具有使用备用Namenode克服SPOF的功能，并且在Namenode失败的情况下，它被配置为自动恢复。
7	MR API与Hadoop1x兼容。用Hadoop1编写的程序在Hadoop1x中执行，没有任何其他文件。	MR API需要用Hadoop1x编写的程序的其他文件才能在Hadoop2x中执行。
8	具有作为事件处理，流媒体和实时操作平台的限制。	可以作为各种数据分析的平台 - 可以运行事件处理，流媒体和实时操作。
9	Namenode失败会影响堆栈。	Hadoop堆栈 - Hive，Pig，HBase等都可以处理Namenode故障。
10	不支持Microsoft Windows	添加了对Microsoft Windows的支持

可扩展性

在YARN架构的帮助下，在Hadoop2.x中，我们可以运行比Hadoop v1更大的集群。Hadoop v1在4,000个节点和40,000个任务中遇到可扩展性瓶颈，这是因为作业跟踪器必须管理作业和任务。YARN凭借其分离的资源管理器/应用程序主体系结构克服了这些限制：它旨在扩展到10,000个节点和100,000个任务。
与jobtracker相比，应用程序的每个实例（这里是MapReduce作业）都有一个专用的应用程序主机，它在应用程序的持续时间内运行。此模型实际上更接近原始GFS文件，该文件描述了如何启动主进程来协调映射并减少在一组工作程序上运行的任务。

能够运行非MapReduce - 作业

在Hadoop1.x中，我们只能运行MapReduce框架作业来处理存储在HDFS中的数据。我们没有机会在HDFS集群中运行除MapReduce之外的其他应用程序。因此，Hadoop2.x提出了新的框架YARN，它提供了运行非MapReduce工作的能力，如Spark，Hama，Giraph，Message Passing Interface）MPI和HBase协处理器。

Namenode高可用性

以前，在Hadoop1.x中，我们有一个namenode，它维护一个HDFS文件的目录树，并跟踪数据存储在集群中的位置。如果Namenode由于某些计划外事件（例如机器崩溃）而关闭，则整个Hadoop集群也将关闭。
Hadoop2.x附带了针对此问题的解决方案，该解决方案允许用户使用冗余名称节点配置群集，从而消除单个名称节点成为群集中单点故障的可能性。

本机Windows支持

Hadoop最初是为支持UNIX系列操作系统而开发的。使用Hadoop2，Windows操作系统本机支持。这将Hadoop的范围扩展到了相当大的Windows Server市场。

超越面向批处理的应用程序

Hadoop在其2.0版本中超越了面向批处理的特性，现在也可以运行交互式流媒体应用程序。