02-大象和它的家人们-Hadoop生态圈详解

Hadoop生态圈及其组件介绍

本章目标

1. Hadoop生态圈组件

1.Hadoop生态圈组件

我们在前面已经概要介绍了Hadoop生态圈，我们本节将就Hadoop生态圈的各种组件进行详细介绍，包括各个组件的构成，其他特点，我们将学习包括HDFS及HDFS的组件，MapReduce，YARN，Hive，Apache Pig，Apache HBase及HBase组件，HCatalog，Avro，Thrift，Drill，Apache mahout，Sqoop，Apache Flume，Ambari，Zookeeper以及Apache OOzie等。

2 Hadoop生态圈介绍

2.1 Hadoop分布式文件系统

HDFS（Hadoop distributed file system ，分布式文件系统）是hadoop生态圈中最重要的组件。它是Hadoop最基本的存储系统。Hadoop分布式文件系统基于Java的文件系统，它为大数据提供了可缩放，容错，可靠，高性价比的数据存储。HDFS是运行在普通硬件上的分布式文件系统。HDFS已经为很多安装模式做好了默认的配置，从而对大型集群节约了配置时间。Hadoop可以使用类似与Shell命令这样的方式和HDFS直接交互。

HDFS组件：

Hadoop HDFS有两个重要的组件，它们是NameNode和DataNode：

NameNode

它也称为Master节点。NameNode并不存储实际数据或者数据集。NameNode存储元数据，比如数据块的数量，位置，在哪个机架，数据存储在哪个Datanode等等。它由文件和目录构成。

HDFS NameNode的任务：

• 管理文件系统命名空间
• 控制客户端到文件的访问
• 执行文件系统任务，包括命名，关闭，打开文件和目录

DataNode

DataNode也称为Slave节点。HDFS Natanode负责为HDFS存储实际数据。对于每个客户端请求，Datanode执行读写操作。Datanode复制的数据块在文件系统中包含两个文件。第一个文件是数据，而第二个文件记录块的元数据。HDFS元数据包含了数据的校验和（checksum）。在启动时，每个Datanode都会连接到它对应的Namenode并进行握手。在握手期间将校验命名空间ID和DataNode软件版本。如果发现不匹配DataNode将自动失败。

HDFS DataNode的任务：

• DataNode执行类似数据块的创建，删除以及根据NameNode指导进行复制。
• DataNode管理数据存储

这些就是Hadoop生态系统中所有关于HDFS的组件。

2.2 MapReduce

Hadoop MapReduce是Hadoop生态系统的核心组件，提供了数据处理的能力。MapReduce是软件框架，它便于你编写应用程序来处理存储在Hadoop分布式文件系统中大量结构化及非结构化的数据。

MapReduce程序天生就是并行的，因此，非常适合在集群的多台机器上上执行大规模的数据分析。它提升了集群平行处理的速度和可靠性。