educoder使用 mapreduce 实现倒排索引

本博客介绍如何利用MapReduce(Python和Java实现)处理HDFS中的数据,生成倒排索引。通过填充InvertIndex_origin类的map和reduce函数,实现从输入文件到预期输出的转换。在完成代码后,程序会被自动打包并提交到Hadoop集群执行,成功通关的标志是程序输出与预期结果一致。
摘要由CSDN通过智能技术生成

编程要求

根据提示,在右侧编辑器的中的 begin-end 间补全 InvertIndex_origin 类中的 map 和 reduce 函数。具体实现如下。

读取 hdfs 中/input目录下的如下三个文件,文件内容如下:

file1.txt内容:

  1. mapreduce is simple

file2.txt内容:

  1. mapreduce is powerful and simple

file3.txt内容:

  1. mapreduce and mapreduce

使用 mapreduce 处理后把结果输出到 hdfs 的/out目录下,预期输出内容如下:

  1. and file3.txt:1;file2.txt:1;
  2. is file2.txt:1;file1.txt:1;
  3. mapreduce file1.txt:1;file2.txt:1;file3.txt:2;
  4. powerful file2.txt:1;
  5. simple file2.txt:1;file1.txt:1;

后台会自动把代码打包并执行以下命令提交:

  1. hadoop jar /root/invertedindex-1.0-SNAPSHOT.jar InvertIndex_origin /invertindex /out
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值