MapReduce就是一系列键值变换
一个完整的MapReduce作业,涉及三个要素:Mapper、Reducer的Driver,可以将处理过程描述成
{K1,V1} -> {K2,List<V2>} ->{K3,V3}
MapReduce Java API的Mapper基类以键值数据作为输入输出类型,其map()方法以输入的键值对作为参数。而用户只需编写处理单条记录的Mapper类,框架会负责将大数据集转化成键值对流的所有工作,因为MapReduce通过InputFormat和OutputFormat类提供了普通文件格式的实现,除特殊文件类型外,无须编写文件解析器。在编写MapReduce程序的时候,每个Mapper仅仅输出一系列单个的键值对,它们通过shuffle方法才组合成键以及与之关联的值列表,作为reduce()方法的输入,因此map()和reduce方法之间有一个过程。如果是不太复杂的作业,可以把Mapper和Reducer类作为驱动程序的内置类,以简化代码部署。
实现WordCount
上面程序中的Mapper类,键K1即Object并没有得到实际使用。该作业会将TextInputFormat作为输入数据的格式,经过这种格式处理后,提供给Mapper的数据中,键指的是文件中的行号,值就是该行内容。对于输入源中的每行文本,mapper都会执行一次,每次会切分一行内容,然后使用Context对象以<word,1>的格式输出每个新的键/值,即K2/