大数据技术之Hadoop--入门

一、Hadoop是什么？

1. Hado是由Apache基金所开发的分布式系统基础架构
2. 主要是用来解决海量的数据存储和分析计算问题

二、Hadoop三大发行版本：Apache、Cloudera、Hortonworks

• Apache版本最原始（最基础）的版本，对于入门学习最好。
• Cloudera在大型互联网企业中用的较多。
• Hortonworks文档较好。

三、Hadoop的优势

1. 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据丢失
2. 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点
3. 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度
4. 容错性：能够自动将失败的任务重新分配

四、Hadoop核心

HDFS架构概述

• NamneNode (m) :
  存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。
• DataNode(dn): 在本地文件系统存储文件块数据，以及块数据的校验和。
• Secondary NamelNode(2n):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDF8元数据的快照

YARN架构概述

如图所示

MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce，如图所示

1. Map阶段并行处理输入数据
2. Reduce阶段对Map结果进行汇总

六、Hadoop运行模式

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式

Hadoop官方网站：http://hadoop.apache.org/