分布式和集群的区别，hadoop三代架构图（重点！！！！！）

---

1.分布式和集群介绍

• 分布式: 多台机器做不同的事情, 然后组成1个整体.

• 集群: 多台机器做相同的事情.

  多台机器既可以组成 中心化模式(主从模式), 也可以组成 去中心化模式(主备模式)

  可以参考下面这张例图，更加简单明了。

2.Hadoop框架国内外应用

• 国外

  • Yahoo雅虎, 节点4.2W+, 超10W核, 总存储350PB+, 每月提交作业 1000W+

• 国内

  • 阿里巴巴, 节点3000+, 超4W核心, 内存超100TB, 每月提交作业 450W+

• Hadoop的组成

  • HDFS: 分布式存储框架

  • MapReduce: 分布式计算框架

  • Yarn: 任务接收和调度器

3. Hadoop的架构图（重点）看懂这三张图就完全懂了

• Hadoop1.X = HDFS + MapReduce

  

• Hadoop2.X, 3.X = HDFS + MapReduce + Yarn

  

• Hadoop集群高可用模式图解

  

4.Hadoop集群环境初体验

• 搭建方式

  • 方式1: Standalone mode 单机模式（几乎没人这么干）

    把所有的服务(namenode, SecondaryNameNode, datanode, ResourceManager, nodemanager)装到1台机器, 适用于: 学习, 调试.

  • 方式2: Cluster mode 集群模式

    node1: namenode, datanode, ResourceManager, nodemanager

    node2: SecondaryNameNode, datanode, nodemanager

    node3: datanode nodemanager