学习笔记之Hadoop

作为一个大数据人，从没有系统的学习过Hadoop，这可还行？！最近开始整理一些大数据相关基础知识，及时整理汇总，自我督促。

大数据部门常见组织架构

大公司完整的组织架构一般需要有四部分：

• 平台组

  Hadoop、Flume、Kafka、HBase框架平台的搭建

  集群性能的监控

  集群性能的调优

• 数据仓库组

  ETL工程师——数据清洗

  Hive工程师——数据分析、数仓建模

• 数据挖掘组

  算法工程师

  推荐系统工程师

  用户画像工程师

• 报表开发组

  JavaEEI工程师

对Hadoop的一点理解

• 分布式系统基础架构
• 海量数据的存储与分析
• 广义来说Hadoop是个生态圈

Hadoop的优势

• 高可靠性：多个副本
• 高扩展性：扩展节点
• 高效性：可并行工作
• 高容错性：自动将失败的任务重新分配

对比Hadoop1.X和Hadoop2.X

现在主流的是2.X，简而言之，2.X实现了解耦，把资源调度拆分出来，不止可以调度MapReduce的资源，还可以调度其它机算框架的资源，比如Spark、Flink等。

Hadoop1.X

MapReduce：计算+资源调度

HDFS：数据存储

Common：辅助工具

Hadoop2.X

MapReduce：计算

Yarn：资源调度

HDFS：数据存储

Common：辅助工具

从架构角度谈一谈Hadoop

HDFS架构

DataNode（dn）：有多个，存数据本体，可以理解为移动硬盘们

NameNode（nn）：有一个，存元数据，可以理解为目录、索引

Secondary NameNode（2nn）：不是nn的备份，如果nn挂了，2nn可以帮nn恢复一些，但有缺陷

Yarn架构

调度的是内存和CPU，管理的是工作时长

Resource Manager（RM）：处理客户端请求、监控NM、启动或者监控ApplicationMaster（相当于临时负责人）

Node Manager（NM）：管理单个节点上的资源、处理RM的命令、处理AM的命令

Application Manager（AM）：数据切分、为应用程序申请资源并分配给内部任务

Container：Yarn的资源抽象