Hadoop基础知识

Hadoop

HDFS

HDFS 分布式文件系统 读取和写入原理介绍
HDFS中的角色
NameNode：名称节点
通常仅有一个，负责文件信息管理，切割文件，为文件分配指定位置保存。
DataNode：数据阶段
通常有多个，保存数据。

写入原理：

 当有文件要写入到HDFS的时候，
 首先NameNode将文件按照指定大小切割，
 NameNode选取合适的DataNode列表，
 写入第一快文件，
 同时将该文件的第一个副本写入另一个DataNode，
 再将第二个副本写入另另外一个DataNode。
 最后一个副本写入成功后，依次通知上一个DataNode写入完毕，
 第一个DataNode通知NameNode写入成功后，开始写入第二份文件。

读取原理：
当要读取文件的时候，NameNode找到该文件所有的存放位置，依次从头读取。

MapReduce

Hive

如图：