大数据之Hadoop基础入门

Hadoop简介

定义：Hadoop就是存储海量数据和分析海量数据的工具，HDFS负责大数据存储，MapReduce负责计算。
版本：Hadoop主要有两个版本，在1.x版本中只包含Common、HDFS、MapReduce三个核心组件，资源管理方面存在不足，当集群环境下无法很好的进行管理。因为在2.x版本中，Yarn单独作为集群资源管理的一个核心组件抽取出来。

Hadoop生态：Hadoop的每一个核心组件都可以很好地被其他的框架进行扩展，几乎没有任何侵入性与成本，因而也在Hadoop的基础上衍生出许多其他的大数据框架，也就是我们广义上说的Hadoop生态，包括spark、hive、pig、zookeeper等等。

Hadoop不像是Spring这样一整个环路封闭的框架，它的各个核心组件之间可以形成紧闭的环路，同时每个组件也能单独的对外提供服务，这也是Hadoop生态可以很好地在其基础上进行扩展的原因，同时由于Hadoop的易用可扩展，所以使得可以很少成本的情况下在原有传统的基础上使用Hadoop的生态组件。

Hadoop组件解析

hdfs：namenode、datanode
yarn：resourcemanager、nodemanager、container

HDFS

在大数据中存储是一个重要的部分，只有数据存储了下来我们才能进行后续一系列大数据分析与处理。而HDFS则是大数据存储工具，且它允许数据存储在廉价的商用服务器上，并且通过三副本的形式保证数据的可靠性，同时HDFS遵循一次写入多次读写的原则，不允许随机的修改数据，从而支持数据的批处理。

副本机制
HDFS会将数据存储在三个节点上，当其中一个副本不可用时，HDFS会自动拷贝另外的副本，从而保证数据的可靠性，HDFS选择三个节点的方式是：假设有A、B、C三台服务器，在A中放置一个副本，并且在与A同一个机架的节点B上放置一个副本，最终在A、B节点机架之外的机架上的节点C上放置一个副本。这样当A、B节点中某一副本不可用时可在同一机架获取另一副本，减少机架间的网络传输。而节点C虽然在另一个机架，但是保障了A、B节点所在机架损坏时的可靠性。

架构解析
HDFS采用了master/slave的模式，master为namenode，slave为datanode。
namenode节点负责管理文件名、目录结构，文件的元信息、以及块与datanode的关系，同时负责处理文件读写的请求，namenode只是处理文件请求，具体的文件操作还是由存储数据的datanode来完成。
datanode节点是数据存储的节点，会在启动后定期向namenode汇报块信息，同时执行具体的文件读写请求。

secondary namenode 是监控HDFS的辅助后台程序，可以初学者片面的理解为namenode的备份，但又不是真正的备份，因为它只是定期的获取namenode的快照和edit日志文件，从而进行merge，所以数据存在一定的缺失，但也是namenode单点故障后的一种处理方式。

读数据过程

写数据过程

MapReduce

MapReduce分为Map和Reduce两个阶段，Map和Reduce阶段中间的过程称为Shuffle。Map阶段负责数据的读取、分区、排序，Reduce阶段负责数据的汇总、输出。

开发人员通过写MapReduce程序就可以开发分布式的任务，Hadoop会自动把任务分发到各个节点上进行计算，就行编写单机程序一样。

Yarn

负责Hadoop资源调度
resourcemanager：负责整个集群资源的分配和调度，处理客户端请求，启动和监控ApplicationMaster，监控nodemanager。
nodemanager：负责单台节点上的资源管理和任务管理，处理来自resourcemanager和ApplicationMaster的命令。
ApplicationMaster：负责数据的切分、为应用程序申请资源，进一步分配给内部任务，任务监控和容错。
container：任务运行资源(节点，cpu，内存)，任务启动命令，任务运行环境

Common

Hadoop中公共核心代码

以上简单的介绍了Hadoop四大核心组件，每个组件其中都是很复杂的，由于作者水平有限，只能浅显的介绍，后续掌握更多之后将进行更新，上述如有错误，敬请见谅！