MapReduce程序执行过程

Hadoop hive spark 
hive spark HBASE

input
    -》默认从HDFS中读取数据
        FileInputFormat
    -》将每一行转成keyvalue
    -》输出：
        <行偏移量，行内容>
        key     value
        0       Hadoop hive spark
        17      hive spark HBASE
mapper
    -》输入：input输出<LongWritable,Text>
    -》map：方法，一行调用一次
        针对每一个行进行分割
        输出：
        key     value
        Hadoop  1       reduce1
        hive    1       reduce2
        spark   1       reduce1
        hive    1       reduce2
        spark   1       reduce1
        HBASE   1       reduce1
shuffle：分区，分组，排序
    输出：
        key     value
        Hadoop  <1>         
        HBASE   <1>
        hive    <1,1>
        spark   <1,1>
reduce:
    reduce方法：每一条keyvalue调用一次reduce方法
        将相同key的值List<value>,进行了相加求和
    输入：
        key     value
        Hadoop  <1>
        HBASE   <1>
        hive    <1,1>
        spark   <1,1>
    输出：
        key     value
        Hadoop  1
        HBASE   1
        hive    2
        spark   2
output:
    输出：默认将reduce的输出写入到hdfs
    FileOutputFormat