用C++写Hadoop streaming实例1

Hadoop Streaming 是Hadoop 为方便非Java 用户编写MapReduce 程序而设计的工具包。它允许用户将任何可执行文件或者脚本作为Mapper/Reducer，这大大提高了程序员的开发效率。

Hadoop Streaming 要求用户编写的Mapper/Reducer 从标准输入中读取数据，并将结果写到标准数据中，这类似于Linux 中的管道机制。
1. Hadoop Streaming 编程实例

以WordCount 为例，可用C++ 分别实现Mapper 和Reducer，具体方法如下（这里仅是最简单的实现，并未全面考虑各种异常情况）。

Mapper 实现的具体代码如下：

int main() { //Mapper 将会被封装成一个独立进程，因而需要有main() 函数
string key;
while(cin >> key) { // 从标准输入流中读取数据
// 输出中间结果，默认情况下TAB 为key/value 分隔符
cout << key << "\t" << "1" << endl;
}
return 0;

}

Reducer 实现的具体代码如下：
int main() { //Reducer 将会被封装成一个独立进程，因而需要有main() 函数
string cur_key, last_key, value;
cin >> cur_key >> value;
last_key = cur_key;
int n = 1;
while(cin >> cur_key) { // 读取Map Task 输出结果
cin >> value;
if(last_key != cur_key) { // 识别下一个key
cout << last_key << "\t" << n << endl;
last_key = cur_key;
n = 1;
} else { // 获取key 相同的所有value 数目
n++; //key 值相同的，累计value 值
}
}
return 0;

}

分别编译这两个程序，生成的可执行文件分别是wc_mapper 和wc_reducer，并将它们和contrib/streaming/ hadoop-streaming-1.0.0.jar 一起复制到Hadoop 安装目录下，使用以下命令提交作业：
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming-1.0.0.jar \
-files wc_mapper,wc_reducer \
-input /test/intput \
-output /test/output \
-mapper wc_mapper \

-reducer wc_reducer

原文引自《Hadoop技术内幕-深入解析Mapreduce框架设计与实现原理》