通过Hadoop StreamingAPI使用perl写MapReduce
Hadoop一般使用Java来写MapReduce,但是也支持其他语言和脚本,类似于管道的概念。即将中间结果通过管道输出给某一可执行文件或脚本,让其充当Map或者Reduce。以Perl实现MapReduce的WordCount为例,代码如下(可以对比Java的结果):Mapper.pl Reducer.pl my $last_key = "";my $key = "";$n = 0;$firs
原创
2014-11-18 17:20:26 ·
1828 阅读 ·
0 评论