MapReduce实战（四）倒排索引的实现

最新推荐文章于 2023-06-22 20:43:36 发布
最新推荐文章于 2023-06-22 20:43:36 发布
阅读量102 收藏
点赞数
文章标签： 大数据 java

 需求：

 

 

 

 

以上三个文件，用MapReduce进行处理，最终输出以下格式：

hello c.txt-->2 b.txt-->2 a.txt-->3
jerry c.txt-->1 b.txt-->3 a.txt-->1
tom c.txt-->1 b.txt-->1 a.txt-->2

 

思考：

我们需要进行两个步骤：

1.就是之前的统计单词个数的练习，只不过现在需要加上文件名而已。得到如下效果

hello-->a.txt 3
hello-->b.txt 2
hello-->c.txt 2
jerry-->a.txt 1
jerry-->b.txt 3
jerry-->c.txt 1
tom-->a.txt 2
tom-->b.txt 1
tom-->c.txt 1

2.将key由hello-->a.txt这种形式转化成hello这种形式，然后进行分组。得到如下效果：

hello c.txt-->2 b.txt-->2 a.txt-->3
jerry c.txt-->1 b.txt-->3 a.txt-->1
tom c.txt-->1 b.txt-->1 a.txt-->2

 

 

文件目录如下：

InverseIndexStepOne.java:

package cn.darrenchan.hadoop.mr.ii;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class InverseIndexStepOne {
    public static class StepOneMapper extends
            Mapper<LongWritable, Text, Text, LongWritable> {
        @Override
        protected void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            // 拿到一行数据
            String line = value.toString();
            // 切分出各个单词
            String[] fields = line.split("\t");
            // 获取这一行数据所在的文件切片
            FileSplit inputSplit = (FileSplit) context.getInputSplit();
            // 从文件切片中获取文件名
            String fileName = inputSplit.getPath().getName();
            for (String field : fields) {
                // 封装kv输出 ， k ： hello-->a.txt v: 1
                context.write(new Text(field + "-->" + fileName),
                        new LongWritable(1));
            }
        }
    }

    public static class StepOneReducer extends
            Reducer<Text, LongWritable, Text, LongWritable> {
        @Override
        protected void reduce(Text key, Iterable<LongWritable> values,
                Context context) throws IOException, InterruptedException {
            int count = 0;
            for (LongWritable value : values) {
                count += value.get();
            }
            // <hello-->a.txt,{1,1,1....}>
            context.write(key, new LongWritable(count));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        job.setJarByClass(InverseIndexStepOne.class);

        job.setMapperClass(StepOneMapper.class);
        job.setReducerClass(StepOneReducer.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(LongWritable.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);

        //检查一下参数所指定的输出路径是否存在，如果已存在，先删除
        Path outputPath = new Path(args[1]);
        FileSystem fileSystem = FileSystem.get(conf);
        if (fileSystem.exists(outputPath)) {
            fileSystem.delete(outputPath, true);
        }

        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, outputPath);

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }

}

 

InverseIndexStepTwo.java:

package cn.darrenchan.hadoop.mr.ii;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class InverseIndexStepTwo {
    // k: 行起始偏移量 v: {hello-->a.txt 3}
    // map输出的结果是这个形式 ： <hello,a.txt-->3>
    public static class StepTwoMapper extends
            Mapper<LongWritable, Text, Text, Text> {
        @Override
        protected void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            String[] fields = line.split("-->");
            String[] strings = fields[1].split("\t");
            context.write(new Text(fields[0]), new Text(strings[0] + "-->"
                    + strings[1]));
        }
    }

    // 拿到的数据 <hello,{a.txt-->3,b.txt-->2,c.txt-->1}>
    // 输出的结果就是 k: hello v: a.txt-->3 b.txt-->2 c.txt-->1
    public static class StepTwoReducer extends Reducer<Text, Text, Text, Text> {
        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context)
                throws IOException, InterruptedException {
            String result = "    ";
            for (Text value : values) {
                result += value + "    ";
            }
            context.write(key, new Text(result));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        job.setJarByClass(InverseIndexStepTwo.class);

        job.setMapperClass(StepTwoMapper.class);
        job.setReducerClass(StepTwoReducer.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        // 检查一下参数所指定的输出路径是否存在，如果已存在，先删除
        Path outputPath = new Path(args[1]);
        FileSystem fileSystem = FileSystem.get(conf);
        if (fileSystem.exists(outputPath)) {
            fileSystem.delete(outputPath, true);
        }

        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, outputPath);

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }

}

 

首先将三个文件传到HDFS的/ii/srcdata目录下面，执行指令：

hadoop jar ii.jar cn.darrenchan.hadoop.mr.ii.InverseIndexStepOne /ii/srcdata /ii/output1

打印运行信息：

17/03/01 17:55:38 INFO client.RMProxy: Connecting to ResourceManager at weekend110/192.168.230.134:8032
17/03/01 17:55:38 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
17/03/01 17:55:39 INFO input.FileInputFormat: Total input paths to process : 3
17/03/01 17:55:39 INFO mapreduce.JobSubmitter: number of splits:3
17/03/01 17:55:40 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1488372977056_0001
17/03/01 17:55:41 INFO impl.YarnClientImpl: Submitted application application_1488372977056_0001
17/03/01 17:55:41 INFO mapreduce.Job: The url to track the job: http://weekend110:8088/proxy/application_1488372977056_0001/
17/03/01 17:55:41 INFO mapreduce.Job: Running job: job_1488372977056_0001
17/03/01 17:55:52 INFO mapreduce.Job: Job job_1488372977056_0001 running in uber mode : false
17/03/01 17:55:52 INFO mapreduce.Job: map 0% reduce 0%
17/03/01 17:56:11 INFO mapreduce.Job: map 33% reduce 0%
17/03/01 17:56:12 INFO mapreduce.Job: map 100% reduce 0%
17/03/01 17:56:18 INFO mapreduce.Job: map 100% reduce 100%
17/03/01 17:56:18 INFO mapreduce.Job: Job job_1488372977056_0001 completed successfully
17/03/01 17:56:18 INFO mapreduce.Job: Counters: 49
File System Counters
FILE: Number of bytes read=382
FILE: Number of bytes written=372665
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=402
HDFS: Number of bytes written=138
HDFS: Number of read operations=12
HDFS: Number of large read operations=0
HDFS: Number of write operations=2
Job Counters
Launched map tasks=3
Launched reduce tasks=1
Data-local map tasks=3
Total time spent by all maps in occupied slots (ms)=51196
Total time spent by all reduces in occupied slots (ms)=3018
Total time spent by all map tasks (ms)=51196
Total time spent by all reduce tasks (ms)=3018
Total vcore-seconds taken by all map tasks=51196
Total vcore-seconds taken by all reduce tasks=3018
Total megabyte-seconds taken by all map tasks=52424704
Total megabyte-seconds taken by all reduce tasks=3090432
Map-Reduce Framework
Map input records=8
Map output records=16
Map output bytes=344
Map output materialized bytes=394
Input split bytes=312
Combine input records=0
Combine output records=0
Reduce input groups=9
Reduce shuffle bytes=394
Reduce input records=16
Reduce output records=9
Spilled Records=32
Shuffled Maps =3
Failed Shuffles=0
Merged Map outputs=3
GC time elapsed (ms)=1077
CPU time spent (ms)=6740
Physical memory (bytes) snapshot=538701824
Virtual memory (bytes) snapshot=1450766336
Total committed heap usage (bytes)=379793408
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=90
File Output Format Counters
Bytes Written=138

 

运行结果如下：

hello-->a.txt 3
hello-->b.txt 2
hello-->c.txt 2
jerry-->a.txt 1
jerry-->b.txt 3
jerry-->c.txt 1
tom-->a.txt 2
tom-->b.txt 1
tom-->c.txt 1

 

 

 

执行指令：

hadoop jar ii.jar cn.darrenchan.hadoop.mr.ii.InverseIndexStepTwo /ii/output1 /ii/output2

打印运行信息： 

17/03/01 18:03:31 INFO client.RMProxy: Connecting to ResourceManager at weekend110/192.168.230.134:8032
17/03/01 18:03:31 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
17/03/01 18:03:31 INFO input.FileInputFormat: Total input paths to process : 1
17/03/01 18:03:31 INFO mapreduce.JobSubmitter: number of splits:1
17/03/01 18:03:32 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1488372977056_0003
17/03/01 18:03:32 INFO impl.YarnClientImpl: Submitted application application_1488372977056_0003
17/03/01 18:03:32 INFO mapreduce.Job: The url to track the job: http://weekend110:8088/proxy/application_1488372977056_0003/
17/03/01 18:03:32 INFO mapreduce.Job: Running job: job_1488372977056_0003
17/03/01 18:03:38 INFO mapreduce.Job: Job job_1488372977056_0003 running in uber mode : false
17/03/01 18:03:38 INFO mapreduce.Job: map 0% reduce 0%
17/03/01 18:03:43 INFO mapreduce.Job: map 100% reduce 0%
17/03/01 18:03:47 INFO mapreduce.Job: map 100% reduce 100%
17/03/01 18:03:48 INFO mapreduce.Job: Job job_1488372977056_0003 completed successfully
17/03/01 18:03:48 INFO mapreduce.Job: Counters: 49
File System Counters
FILE: Number of bytes read=162
FILE: Number of bytes written=185553
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=249
HDFS: Number of bytes written=112
HDFS: Number of read operations=6
HDFS: Number of large read operations=0
HDFS: Number of write operations=2
Job Counters
Launched map tasks=1
Launched reduce tasks=1
Data-local map tasks=1
Total time spent by all maps in occupied slots (ms)=2605
Total time spent by all reduces in occupied slots (ms)=2725
Total time spent by all map tasks (ms)=2605
Total time spent by all reduce tasks (ms)=2725
Total vcore-seconds taken by all map tasks=2605
Total vcore-seconds taken by all reduce tasks=2725
Total megabyte-seconds taken by all map tasks=2667520
Total megabyte-seconds taken by all reduce tasks=2790400
Map-Reduce Framework
Map input records=9
Map output records=9
Map output bytes=138
Map output materialized bytes=162
Input split bytes=111
Combine input records=0
Combine output records=0
Reduce input groups=3
Reduce shuffle bytes=162
Reduce input records=9
Reduce output records=3
Spilled Records=18
Shuffled Maps =1
Failed Shuffles=0
Merged Map outputs=1
GC time elapsed (ms)=138
CPU time spent (ms)=820
Physical memory (bytes) snapshot=218480640
Virtual memory (bytes) snapshot=726454272
Total committed heap usage (bytes)=137433088
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=138
File Output Format Counters
Bytes Written=112

 

运行结果如下：

hello c.txt-->2 b.txt-->2 a.txt-->3
jerry c.txt-->1 b.txt-->3 a.txt-->1
tom c.txt-->1 b.txt-->1 a.txt-->2

weixin_34265814
关注
lab38综合实战-搜索引擎
11-14
4. **创建倒排索引**：这是搜索引擎的核心，将每个词与其在文档中出现的位置关联起来。这样，当用户输入查询时，我们可以快速找到包含这些词的文档。 5. **索引存储**：将构建好的索引保存到文件或数据库中，以便...
ES 倒排索引
aganliang的专栏
05-14 516
参考：https://www.cnblogs.com/cjsblog/p/10327673.html 正向索引和倒排索引，都是索引，方便快速查找；两者实现原理不一样，应用场景不一样。 正向索引是通过 key找到value 倒排索引是通过value找到key 倒排索引由以下几个部分组成： term：分词器分析后，形成的一个个单词叫做term term dictionary：单词字典，term的集合 term index：单词索引，可以快速找到这个单词，一般用B-Tree索引。是不是可以.
MapReduce功能实现十---倒排索引(Inverted Index)
热门推荐
小强签名设计 的博客
08-02 1万+
前言："倒排索引"是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引（Inverted Index） 1.模拟数据： [hadoop@h71 q1]$ vi file1.txt mapr
搜索引擎：MapReduce实战----倒排索引
Thinkgamer博客
07-28 4810
1.倒排索引简介 倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。 有两种不同的反向索引形式： 一条记录的水平反向索引（或者反向档案索引）包含每个引用单词的文档的列表。 一个单词的水平反向索引（或者完全反向索引）又包含每个单词在一个文...
mapreduce实现倒排索引
踏云追月
01-27 1298
目的： 产生一个数据集的索引以便提供更快的搜索或数据丰富能力。 动机： 对大的数据集建立一个关键字的索引，通常可以方便通过指定关键字搜索到其包含特定值的对应记录。尽管创建倒排索引的过程需要预先进行额外的处理，但花费时间做预处理可以极大地缩减查询时所需要的时间。 适用场景： 倒排索引通常用在需要快速搜索查询响应的场景。可以对一个查询的结果进行预处理并存入数据库中。
18_总结一下分布式搜索引擎相关问题的面试技巧.zip
最新发布
09-09
2. **倒排索引**：倒排索引是搜索引擎的核心数据结构，它将关键词映射到包含该词的文档集合。在面试中，能够解释倒排索引的工作原理和优化方法，如压缩技术、位图索引等，会显得专业。 3. **分布式架构**：分布式...
MapReduce 案例倒排索引
m0_72168501的博客
12-13 815
MapReduce 案例倒排索引
educoder使用 mapreduce 实现倒排索引
uzpoob的博客
06-17 3090
编程要求 根据提示，在右侧编辑器的中的 begin-end 间补全 InvertIndex_origin 类中的 map 和 reduce 函数。具体实现如下。 读取 hdfs 中/input目录下的如下三个文件，文件内容如下： file1.txt内容： mapreduce is simple file2.txt内容： mapreduce is powerful and simple file3.txt内容： mapreduce and mapreduce 使用 mapreduce 处理后把结果
文档倒排索引的MapReduce程序设计与实现
09-22
文档倒排索引的MapReduce程序设计与实现
MapReduce经典案例—倒排索引
一指流沙的博客
06-04 5345
目录一、问题介绍（一）案例分析1. 倒排索引介绍2. 案例需求及分析(二)案例实现 1. Map阶段实现2. Combine阶段实现3. Reduce阶段实现4. Driver程序主类实现5. 效果测试二、完整代码 三、运行结果倒排索引是文档检索系统中最常用的数据结构，被广泛应用于全文搜索引擎。倒排索引主要用来存储某个单词（或词组）在一组文档中的存储位置的映射，提供了可以根据内容来查找文档的方式，而不是根据文档来确定内容，因此称为倒排索引（Inverted Index）。带有倒排索引的文件我们称为
MapReduce入门（三）倒排索引
weixin_30856965的博客
10-13 400
什么是倒排索引？ 倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverted file)。 我感觉搜索引...
MapReduce实现倒排索引
Running-小猛的博客
03-25 3033
分为两步进行 第一步： package com.jym.hadoop.mr.inverindex; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoo...
MapReduce实战--倒排索引
weixin_33757609的博客
12-22 324
本文地址：http://www.cnblogs.com/archimedes/p/mapreduce-inverted-index.html，转载请注明源地址。 1.倒排索引简介 倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。 有两种...
MapReduce倒排索引
Erin_coast的博客
06-22 213
第四阶段：Combine词频统计：将键值对的value列表值合并相加，得到以单词，文件为键值，词频为value的键值对。第二阶段：split:按行分片：输出为以偏移量为key,一行的内容为value的键值对。第三阶段：Map单词切分：以单词，文件ID为键，单词出现次数列表为value。第五阶段：reduce归并：将单词作为键值，将文件ID和词频作为value。疑惑：split并没有输入文件ID那么Map是怎么将文件名包含在键里面的？第一阶段：input:多文件输入内容。
Mapreduce实例（六）：倒排索引
笑看风云路的博客
06-01 3049
MR实现倒排索引
MapReduce详解：原理、实现与实战应用
倒排索引则是将文档中的每个术语及其在文档中的位置记录下来，map阶段负责生成这些元数据，reduce阶段则合并这些信息，构建出完整的倒排索引。 在实现MapReduce时，需要考虑的关键问题包括输入数据的特性，如其容量...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值