Hadoop深入浅出Hadoop Streaming&MRJob

Hadoop Streaming 是Hadoop提供的一个 MapReduce 编程工具，它允许用户使用任何可执行文件、脚本语言或其他编程语言来实现 Mapper 和 Reducer 作业。Hadoop Streaming 使用了 Unix 的标准输入输出作为 Hadoop 和其他编程语言的开发接口，因此在其他的编程语言所写的程序中，只需要将标准输入作为程序的输入，将标准输出作为程序的输出就可以了。

原理分析

Hadoop Streaming是Hadoop的一个工具， 它帮助用户创建和运行一类特殊的map/reduce作业， 这些特殊的map/reduce作业是由一些可执行文件或脚本文件充当mapper或者reducer，我们来分析下Map/Reduce框架和Streaming mapper/reducer之间是如何工作的：

1. Mapper: 我们使用一个可执行文件用于mapper时候， 每一个mapper任务会把这个可执行文件作为一个单独的进程启动。 mapper任务运行时，它把输入切分成行并把每一行提供给可执行文件进程的标准输入， 同时，mapper收集可执行文件进程标准输出的内容，并把收到的每一行内容转化成key/value对，作为mapper的输出。 默认情况下，一行中第一个tab之前的部分作为key，之后的<不包括tab>作为value。 如果没有tab，整行作为key值，value值为null;

2. Reducer: 我们使用一个可执行文件用于reducer，同样的是每个reducer任务会把这个可执行文件作为一个单独的进程启动。 reducer任务运行时，它把输入切分成行并把每一行提供给可执行文件进程的标准输入，同时，reducer收集可执行文件进程标准输出的内容，并把每一行内容转化成key/value对，作为reducer的输出。 默认情况下，一行中第一个tab之前的部分作为key，之后的<不包括tab>作为value。

简单的例子

python切分例子

// mapper.py
#!/usr/bin/env python
# 切分word
import sys

def read_input(file):
    for line in file:
        yield line.split()

def main(separator='\t'):
    # input comes from STDIN (standard input)
    data = read_input(sys.stdin)
    for words in data:
        for word in words:
            print '%s%s%d' % (word, separator, 1)

if __name__ == "__main__":
    main()

shell脚本切分例子

# mapper.sh
#! /bin/bash

while read LINE