Hadoop 大数据学习笔记

大数据部门组织架构

Hadoop

Hadoop是什么

Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。
主要解决，海量数据的存储和海量数据的分析计算问题。
广义上来说，Hadoop通常是指一个广泛的概念———Hadoop生态圈。

Hadoop的优势

1）高可靠性。
2）高扩展性。
3）高效性。
4）高容错性。

Hadoop的组成

MapReduce(计算)
Yarn(资源调度)
HDFS(数据存储)

HDFS架构

1）NameNode(nn)：存储文件的元数据，数据索引。
2）DataNode(dn)：数据本身。
3）Secondary NameNode(2nn)：用于监控HDFS状态的辅助后台程序，获取HDFS元数据的快照。

YARN架构

MapReduce

1）Map阶段并行处理输入数据。
2）Reduce阶段对Map结果进行汇总。

大数据技术生态体系