hadoop简介

        Hadoop框架中最核心设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是任务的分解与结果的汇总。HDFS是Hadoop分布式文件系统的缩写，为分布式计算存储提供了底层支持。
一．MapReduce
        MapReduce从它名字上来看就大致可以看出个缘由，两个动词Map,Reduce，Map（展开）就是将一个任务分解成为多个任务，Reduce就 是将分解后多任务处理的结果汇总起来，得出最后的分析结果。
 
        上图说明了用 MapReduce 来处理大数据集的过程, 这个MapReduce的计算过程简而言之，就是将大数据集分解为成百上千的小数据集，每个(或若干个)数据集分别由集群中的一个结点(一般就是一台普通的计算机)进行处理并生 成中间结果，然后这些中间结果又由大量的结点进行合并, 形成最终结果。
        计算模型的核心是 Map 和 Reduce 两个函数，这两个函数由用户负责实现，功能是按一定的映射规则将输入的 <key, value> 对转换成另一个或一批 <key, value> 对输出。
函数           输入                   输出                       说明
Map          <k1, v1>            List(<k2,v2>)        1. 将小数据集进一步解析成一批 <key,value> 对，输入 Map 函数中进行处理。
                                                                             2. 每一个输入的 <k1,v1> 会输出一批 <k2,v2>。 <k2,v2> 是计算的中间结果。
Reduce   <k2,List(v2)>    <k3,v3>                  输入的中间结果 <k2,List(v2)> 中的 List(v2) 表示是一批属于同一个 k2 的 value
二．HDFS
        HDFS是分布式计算的存储基石，Hadoop的分布式文件系统和其他分布式文件系统有很多类似的特质。
分布式文件系统基本的几个特点：
        1.对于整个集群有单一的命名空间。
        2.数据一致性。适合一次写入多次读取的模型，客户端在文件没有被成功创建之前是无法看到文件存在。
        3. 文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而且根据配置会有复制文件块来保证数据的安全性。
 
        上图中展现了整个HDFS三个重要角色：NameNode,DataNode,Client。
        NameNode：可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间，集群配置信息，存储块的复制。NameNode会存储文件系统的Meta-data在内存中，这些信息主要包括了文件信息，每一个文件对应的文件块的信息，每一个文件块在DataNode的信息。
        DataNode：是文件存储的基本单元。它存储Block在本地文件系统中，保存了Block的Meta-data，同时周期性的发送所有存在的block的报告给NameNode。
        Client：就是需要获取分布式文件系统文件的应用程序。
三．综合MapReduce和HDFS来看Hadoop的结构：
 
        在Hadoop的系统中，会有一台Master，主要负责NameNode的工作以及JobTracker的工作。JobTracker是的主要职责就是启动，跟踪，调度各个Slave的任务执行。还会有多台Slave，每一台Slave通常具有DataNode的功能以及TaskTracker的工作。TaskTracker根据应用要求来结合本地数据执行Map任务以及Reduce任务。
        Moving Computation is Cheaper than Moving Data。就是在分布式处理中，移动数据的代价总是高于转移计算的代价。简单来说就是分而治之的工作，需要将数据也分而存储，本地任务处理本地数据然后归总，这样才会保证分布式计算的高效性。