hadoop基础知识

Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现的开源分布式系统框架，
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
实现在大量计算机组成的集群中对海量数据进行分布式计算。

它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

Hadoop框架中最核心设计就是：MapReduce和HDFS。MapReduce提供了对数据的计算，HDFS提供了海量数据的存储。

hdfs是hadoop分布式文件系统的简称，由若干台计算机组成。
用于存放PB、TB数量级的文件，每份文件可以有多个副本，所以HDFS是一个具有高冗余、高容错的文件系统。

hdfs结构：
名称节点(NameNode)：
    分为两部分：
    1.块儿信息：文件位置映射信息，帮助快速查找某个文件在那个数据节点上。
    2.辅助名称节点(SecondaryNameNode)通过镜像文件和变更日志备份NameNode原数据，如果NameNode挂了，可以通过这些数据进行恢复。

若干个数据节点(DataNode):
用于存放文件及文件的副本，最小的存储单元是块儿，默认大小为64M.
所有的DataNode会定期向NameNode发送心跳。如果NameNode长时间没有收到某个节点发送的心跳，
则认为他挂掉了。

hadoop2移除了hadoop1原有的jobTracker和TaskTracker，改由yarn平台的ResourceManager负责集群中
所有资源的统一管理和分配，NodeManager管理Hadoop集群中单个计算节点。

hadoop2的yarn设计减少了jobTracker的 资源消耗，减少了hadoop1中发生单点故障的风险。我们还可以在
yarn平台上运行spark和storm作业，充分利用资源。