Hadoop基础知识

纯概念

---

大数据：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据的集合，是需要新处理模式才能具备更强的决策力、洞察发现力和流程优化能力的海量、高增长和多样化的信息资产。
主要解决：海量数据的存储和海量数据的分析计算问题。

存储单位：Bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1024转换

大数据特点：

1. Volume：数据量非常庞大
2. Velocity：数据量产生的速度非常快
3. Variety；数据的多样性
4. Value：低价值密度

大数据部门组织结构：平台组，数据仓库组，数据挖掘组，报表开发组

hadoop 的三大发行版本：Apache，Cloudera，Hortonworks

Hadoop的优势（4高）：

1. 高可靠性:Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失
2. 高扩展性:在集群分配任务时，可方便的扩展数以千计的节点
3. 高效性:在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理的速度
4. 高容错性:能够自动将失败的任务重新分配

HDFS：

1. NameNode（NN）：存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等
2. DataNode（DN）：在本地文件系统存储文件块数据，以及块数据的校验和。数据本身
3. Secondary NameNode（2NN）：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS数据的快照

YARN：

MapReduce：计算过程分为两个阶段：Map和Reduce

1. Map阶段并行处理输入数据
2. Reduce阶段对Map结果进行汇总