Hadoop入门（一）—设计思想与架构

Hadoop框架最核心的设计：HDFS和MapReduce。

HDFS的三个重要角色：NameNode、DataNode和客户端。NameNode是HDFS的管理者，负责管理FS的命名空间、集群配置信息、存储块的复制。DataNode是文件存储的基本单元，周期性的发送Block给NameNode。Client是需要获取HDFS文件的应用程序。
文件写入HDFS的基本流程：
1）Client向NameNode发起文件写入的请求。
2）NameNode根据文件大小和文件块配置情况，向Client返回它管理的DataNode信息。（块的大小配置属性dfs.block.size进行切分）
3）Client将文件划分为多个Block，按顺序写入每个DataNode。

MapReduce是一种并行编程技术，最基本的思想“分而治之，然后规约”。
![MapReduce处理流程](https://img-blog.csdn.net/20160923220854010)