hadoop

1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算问题。

Hadoop的优势：

1、高可靠性：Hadoop底层维护多个数据副本，所以即使某个计算元素或存储出现故障，也不会导致数据丢失。

2、高扩展性：在集群间分配任务数据，可方便扩展数以千计的节点

3、高效性：在mappreduce的思想下，Hadoop并行工作，以加快任务处理速度

4、高容错性：能够自动将失败的任务重新分配

Hadoop的组成：

Hadoop1.X,Hadoop2.X,Hadoop3.X的区别：

在Hadoop1.X时代，Hadoop中的Mappreduce同时处理业务逻辑运算和资源调度，耦合性较大。

在Hadoop2.X时代，增加了Yarn。Yarn只负责资源调度，Mappreduce只负责运算。

在Hadoop3.X时代，在组成上没有变化。