Hadoop各主流版本的介绍

1、Apache Hadoop2.0版本，有以下模块：

Hadoop通用模块，支持其他Hadoop模块的通用工具集；

Hadoop分布式文件系统（HDFS），支持对应用数据高吞吐量访问的分布式文件系统；

Hadoop YARN，用于作业调度和集群资源管理的框架；

Hadoop MapReduce，基于YARN的大数据并行处理系统。

Hadoop目前除了社区版，还有众多厂商的发行版本。

2、Cloudera：最成型的发行版本，拥有最多的部署案例；提供强大的部署、管理和监控工具。开发并贡献了可实时处理大数据的Impala项目。

3、Hortonworks：100%开源的Apache Hadoop唯一提供商。Hortonworks是第一家使用了Apache HCatalog的元数据服务特性的提供商。而且，他们的Stinger极大地优化了Hive项目。Hortonworks为人们提供了一个非常好的、易于使用的沙盒。Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Windows Servers和Windows Azure在内的Microsoft Windows平台上本地运行。

4、MapR：与竞争者相比，它使用了一些不同的概念，特别是为了获取更好的性能和易用性而支持本地UNIX文件系统而不是HDFS（使用非开源的组建）。我们可以使用本地UNIX命令来代替Hadoop命令。除此之外，MapR还凭借如快照、镜像或有状态的故障恢复之类的高可用性特性来与其他竞争者相区别。该公司也领导着Apache Drill项目，本项目是Google的Dremel的开源项目的重新实现，目的是在Hadoop数据上执行类似SQL的查询以提供实时处理。

5、Amazon Elastic Map Reduce（EMR）：区别与其他提供商的是，这是一个托管的解决方案，其运行在由Amazon Elastic Compute Cloud（Amazon EC2）和Amazon Simple Storage Service（Amazon S3）组成的网络规模的基础设施之上。除了Amazon的发行版本之外，也可以在EMR上使用MapR，临时集群是主要的使用情形。如果你需要一次性的或者不常见的大数据处理，EMR可能为你节省大笔开支。然而，这也存在不利之处。其只包含了Hadoop生态系统中的Pig和Hive项目，在默认的情况下不包含很多其他项目。并且，EMR是高度优化成与S3中的数据一起工作的，这种方式会有较高的延时并且不会定位于你的计算节点上的数据。所以处于EMR上的文件IO相比于你自己的Hadoop集群或者你的私有EC2集群来说慢很多，并有更大的延时。