hadoop学习 1 Hadoop生态圈、HDFS组成与工作原理

先记录一下一般的企业大数据工作的流程，以及每个流程所用的框架和系统。

hadoop的几个模块：

hadoop的生态：

HDFS的模型结构：

NameNode理解为管理者，在一个体系中一般只有一个。
DataNode理解为员工，一般来说有很多个，几千个都可以。
Client与NameNode进行通信，并将数据上传到DataNode中。

SecondaryNameNode是NameNode的辅助。

这里简单讲解一下Client、NameNode、DataNode三者之间的工作原理（最简单的工作原理，忽略了很多细节，具体的流程后面会学到）：
1） Client想要给DataNode上传128MB的数据，存放在/root/wordcount/xx.txt中；
2） Client向NameNode发送请求，汇报想要上传数据等信息；
3） NameNode处理Client发送的信息，并调度合适的DataNode给Client；
4） NameNode将调度信息返回给Client；
5） Client根据NameNode的调度信息，将数据上传到对应的DataNode上。

如果考虑SecondaryNameNode，那么大致流程图如下所示：

参考教材：
https://www.bilibili.com/video/BV1tT4y1E7xf?p=14