Hadoop学习重点总结

一、大数据概论

1.大数据特点（4V）

（1）大量（volume）：数据量大
（2）高速（Velocity）：数据量增长速度快
（3）多样（Variety）：数据格式多样性
（4）低价值密度（Value）：有效数据占比小

2.大数据部门组织结构

二、Hadoop框架概述

1.Hadoop优势（4高）

（1）高可靠性：数据备份多份
（2）高扩展性：集群可以横向扩展
（3）高效性：mapreduce是并行工作的
（4）高容错性：失败的任务将被重新分配执行

2.Hadoop组成

（1）Hadoop1.x和Hadoop2.x的区别：

Hadoop1.x中MapReduce负责计算和资源调度，Hadoop2.x中新增了Yarn负责资源调度，实现了计算和资源调度的解耦合。

（2）Hdfs架构概述

（1）NameNode：存储元数据文件，文件的目录结构，文件副本数、权限等
（2）DataNode：存储块数据和校验和
（3）SecondaryNameNode：辅助NameNode将内存中的数据写入磁盘以及进行数据的恢复，每隔一段时间获取Hdfs元数据的快照

（3）YARN架构概述

（4）大数据技术生态体系

3.Hadoop源码编译（略）