Hadoop Streaming 是Hadoop 为方便非Java 用户编写MapReduce 程序而设计的工具包。它允许用户将任何可执行文件或者脚本作为Mapper/Reducer,这大大提高了程序员的开发效率。
1. Hadoop Streaming 编程实例
以WordCount 为例,可用C++ 分别实现Mapper 和Reducer,具体方法如下(这里仅是最简单的实现,并未全面考虑各种异常情况)。
Mapper 实现的具体代码如下:
int main() { //Mapper 将会被封装成一个独立进程,因而需要有main() 函数string key;
while(cin >> key) { // 从标准输入流中读取数据
// 输出中间结果,默认情况下TAB 为key/value 分隔符
cout << key << "\t" << "1" << endl;
}
return 0;
}
int main() { //Reducer 将会被封装成一个独立进程,因而需要有main() 函数
string cur_key, last_key, value;
cin >> cur_key >> value;
last_key = cur_key;
int n = 1;
while(cin >> cur_key) { // 读取Map Task 输出结果
cin >> value;
if(last_key != cur_key) { // 识别下一个key
cout << last_key << "\t" << n << endl;
last_key = cur_key;
n = 1;
} else { // 获取key 相同的所有value 数目
n++; //key 值相同的,累计value 值
}
}
return 0;
}
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming-1.0.0.jar \
-files wc_mapper,wc_reducer \
-input /test/intput \
-output /test/output \
-mapper wc_mapper \
-reducer wc_reducer
原文引自《Hadoop技术内幕-深入解析Mapreduce框架设计与实现原理》