分布式系统组件简介

HDFS简介
MapReduce简介
Yarn简介

Hadoop

• Apache官方版本
  • 1.x
  • 2.x
  • 2.6.4
• 商业发行版
  • CDH 5.7.x

---

分布式文件系统HDFS

* 端口50070

• 具有分布式的集群结构，我们把实际存储数据的节点Datanode
• 具有一个统一对外提供查询，存储，搜索的机器节点Namenode
  • 对外能够和客户端打交道
  • 对内跟实际存储数据的节点打交道
• 具有备份机制 解决了单点故障
• 具有统一的API 对客户端来说无需担心集群内部的事情 只要我们调用API，就可以进行文件的读取，存储，搜索等，甚至可以提供统一的文件引用
  例：fs =new FileSyatem（ ）
  fs.add fs.copy fs.rm 等等

---

分布式编程模型MapReduce

• 解决分布式数据计算 （处理