编程要求
根据提示,在右侧编辑器的中的 begin-end 间补全 InvertIndex_origin 类中的 map 和 reduce 函数。具体实现如下。
读取 hdfs 中/input
目录下的如下三个文件,文件内容如下:
file1.txt
内容:
mapreduce is simple
file2.txt
内容:
mapreduce is powerful and simple
file3.txt
内容:
mapreduce and mapreduce
使用 mapreduce 处理后把结果输出到 hdfs 的/out
目录下,预期输出内容如下:
and file3.txt:1;file2.txt:1;
is file2.txt:1;file1.txt:1;
mapreduce file1.txt:1;file2.txt:1;file3.txt:2;
powerful file2.txt:1;
simple file2.txt:1;file1.txt:1;
后台会自动把代码打包并执行以下命令提交:
hadoop jar /root/invertedindex-1.0-SNAPSHOT.jar InvertIndex_origin /invertindex /out