Hadoop基本介绍

Hadoop介绍
一. Hadoop是什么
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要就是解决数据存储和数据分析计算的问题（通过HDFS和MapReduce实现）。分布式就是多个服务器做同样的一件事。

广义上来说，hadoop通常指hadoop生态圈。

二. Hadoop的三大发行版本：
Apache版本: 最原始（基础）的版本，对于入门学习最好
Cloudera在大型互联网企业中用得最多
Hortonworks文档较好
三. Hadoop的优势：
高可靠性：维护多个数据副本，在出现故障时会对失败的节点重新分布处理。
高扩展性：在集群之间分配任务数据，可方便地扩展数以千计的节点。
高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
高容错性：自动保存多份副本数据，并且能够自动将失败的任务重新分配。
四. Hadoop的组成：
Hadoop HDFS:一个高可靠,高吞吐量的分布式文件系统（相当于磁盘）
Hadoop MapReduce:一个分布式的离线并行计算框架。（形象理解就相当于跑的一个个应用程序，比如QQ）
Hadoop Yarn：作业调度与集群资源管理的框架（相当于电脑系统）
Hadoop Common:支持其他模块的工具模块,就是辅助前三个能正常运行的一些工具包。
五。HDFS：

1）HDFS 
HDFS是一个高度容错性的分布式文件系统，可以被广泛的部署于廉价的PC上。它以流式访问模式访问应用程序的数据，这大大提高了整个系统的数据吞吐量，因而非常适合用于具有超大数据集的应用程序中。 
HDFS的架构如图所示。HDFS架构采用主从架构（master/slave）。一个典型的HDFS集群包含一个NameNode节点和多个DataNode节点。NameNode节点负责整个HDFS文件系统中的文件的元数据的保管和管理，集群中通常只有一台机器上运行NameNode实例，DataNode节点保存文件中的数据，集群中的机器分别运行一个DataNode实例。在HDFS中，NameNode节点被称为名称节点，DataNode节点被称为数据节点。DataNode节点通过心跳机制与NameNode节点进行定时的通信。 

•NameNode 
可以看作是分布式文件系统中的管理者，存储文件系统的meta-data，主要负责管理文件系统的命名空间，集群配置信息，存储块的复制。

•DataNode 
是文件存储的基本单元。它存储文件块在本地文件系统中，保存了文件块的meta-data，同时周期性的发送所有存在的文件块的报告给NameNode。