u013938578的博客

Hadoop是一个分布式系统基础架构，以分布式文件系统（HDFS）为基础，利用MapReduce编程模型实现分布式数据处理，通过横向扩展方式，可以在计算机集群中运行并行任务，提高数据处理效率。具有高可靠性、高容错性、高可扩展性等特点。

主从架构由一个主节点 Jobtrack 和多个从节点 Tasktrack 组成，真正执行任务的是 tasktrack 中运行着的maptask和reducetask，没有提供架构中主节点NameNode及jobtrack的高可用及负载均机制，MR兼具计算和资源调度两个作用，默认块大小64M。Yarn负责资源的调度，MR负责运算。Hadoop1.x : MR 处理业务逻辑运算 和 资源的调度，耦合性较大。缺点：消耗网络，消耗CPU，适用于冷数据集群。Hadoop3.x : 在组成上没有变化。