MapReduce编程——文档倒排索引

最新推荐文章于 2024-04-28 18:20:22 发布
最新推荐文章于 2024-04-28 18:20:22 发布
阅读量1.6k 收藏 11
点赞数
分类专栏： 笔记 文章标签： mapreduce 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45835541/article/details/110252187
版权

目录

实验要求

  1. 实现倒排索引效果：统计每个单词在不同文件中的出现次数；倒排索引的原理参考实验说明；
  2. 输入：自己编辑几个文件，例如 a.txt,b.txt,c.txt。每个文件的内容为若干行单词，单词之间以空格分开，并将这些文件上传到 hdfs 的/in 目录下；例如：a.txt
    包含内容：
    hadoop google scau
    map hadoop reduce
    hive hello hbase
  3. 编写程序实现单词的倒排索引效果；
  4. 分区要求：以 A-M 字母开头（包含小写）的单词出现在 0 区；以 N-Z 字母开头的单词出现在 1 区；其余开头的单词出现在 2 区；
  5. 单词的输出形式：hadoop a.txt->2,b.txt->1,其中hadoop 是单词（也作为输出的 key）,”a.txt->2,b.txt->1”表示输出的 value，即表示hadoop单词在 a.txt 文件中出现次数为 2，在 b.txt文件中出现次数为 1；

代码

第一次mapreduce

mapper类

K1为Object, V1,为Text ， K2 为字符串 Text,V2 为 IntWritable
输出形式： 文件名->单词 1

package mr.index.first;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

public class FirstIndexMapper extends Mapper<Object, Text, Text, IntWritable> {

	String filename;
	Text k = new Text();
	IntWritable v = new IntWritable();
	
	@Override
	protected void setup(Mapper<Object, Text, Text, IntWritable>.Context context)
			throws IOException, InterruptedException {
		// 获取文件名称
        FileSplit split = (FileSplit) context.getInputSplit();
        filename = split.getPath().getName();
	}
	
	@Override
	protected void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context)
			throws IOException, InterruptedException {
		
        String line = value.toString();
        String[] words = line.split(" ");
        for (String word : words) {
            k.set(word + "->" + filename);
            v.set(1);
            context.write(k, v);
        }
	}
	
}

reducer类

K3 同 K2 类型为 Text, V3 为 IntWritable
输出形式： 文件名->单词 count

package mr.index.first;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class FirstIndexReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
	
	IntWritable v = new IntWritable();
	
	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,
			Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
		int count=0;
		for(IntWritable value : values) {
			count+=value.get();
		}
		v.set(count);
		context.write(key, v);
	}
	
}

main

package mr.index.first;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;



public class FirstIndexMain {

	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		Configuration conf = new Configuration();

        Job job = Job.getInstance(conf);

        job.setJarByClass(FirstIndexMain.class);
        job.setMapperClass(FirstIndexMapper.class);
        job.setReducerClass(FirstIndexReducer.class);

        job.setNumReduceTasks(1);

        job.setMapOutputKeyClass(Text.class);// map阶段的输出的key
        job.setMapOutputValueClass(IntWritable.class);// map阶段的输出的value

        job.setOutputKeyClass(Text.class);// reduce阶段的输出的key
        job.setOutputValueClass(IntWritable.class);// reduce阶段的输出的value

        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        boolean res = job.waitForCompletion(true);
        System.exit(res ? 0 : 1);

	}

}

第二次mapreduce

● （以第一次的输出目录作为输入目录,将word 作为 key,value 为文件名->计数形式的集合）

mapper类

k1为Object，v1为Text，K2 为 Text,V2 为 Text
输出形式： 单词 文件名->count

package mr.index.second;

import java.io.IOException;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class SecondIndexMapper extends Mapper<Object, Text, Text, Text> {

	Text k = new Text();
	Text v = new Text();
	
	@Override
	protected void map(Object key, Text value, Mapper<Object, Text, Text, Text>.Context context)
			throws IOException, InterruptedException {
		String line = value.toString();
		String[] lines = line.split("->");
		k.set(lines[0]);
		v.set(lines[1]);
		context.write(k, v);
	}
	
}

reducer类

K3 同 K2 类型为 Text, V3 为 Text
输出形式：单词 文件名 1->count1 文件名2->count2

package mr.index.second;

import java.io.IOException;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class SecondIndexReducer extends Reducer<Text, Text, Text, Text> {

	Text v = new Text();
	
	@Override
	protected void reduce(Text key, Iterable<Text> values, Reducer<Text, Text, Text, Text>.Context context)
			throws IOException, InterruptedException {
		StringBuilder s = new StringBuilder();
		for(Text value : values) {
			s.append(value.toString().replace("\t", "->")+"  ");
		}
		v.set(s.toString());
		context.write(key, v);
	}

}

partitioner

在mapper后执行，传入的数据类型与k2v2一致

package mr.index.second;

import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

public class SecondIndexPartitioner extends Partitioner<Text, Text> {
	
	private static int PartitionNumber=0;
	
	@Override
	public int getPartition(Text key, Text value, int numPartitions) {
		String word=key.toString().trim();
		if (word.length()==0) return 0;
		char firstchar=Character.toUpperCase(word.charAt(0));
		if(firstchar>='A'&&firstchar<='M')
			PartitionNumber=0;
		else if(firstchar>='N'&&firstchar<='Z')
			PartitionNumber=1;
		else PartitionNumber=2;
		return PartitionNumber;
	}
	
}

main

package mr.index.second;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;



public class SecondIndexMain {

	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		Configuration conf = new Configuration();

        Job job = Job.getInstance(conf);

        job.setJarByClass(SecondIndexMain.class);
        job.setMapperClass(SecondIndexMapper.class);
        job.setReducerClass(SecondIndexReducer.class);
        
        job.setPartitionerClass(SecondIndexPartitioner.class);
        job.setNumReduceTasks(3);

        job.setMapOutputKeyClass(Text.class);// map阶段的输出的key
        job.setMapOutputValueClass(Text.class);// map阶段的输出的value

        job.setOutputKeyClass(Text.class);// reduce阶段的输出的key
        job.setOutputValueClass(Text.class);// reduce阶段的输出的value

        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        boolean res = job.waitForCompletion(true);
        System.exit(res ? 0 : 1);

	}

}

实验数据

在这里插入图片描述

运行结果

第一次mapreduce结果

在这里插入图片描述

第二次mapreduce结果

在这里插入图片描述

总结

  • 倒排索引通过两次mapreduce实现，第一次mapreduce代码逻辑与代码结构与之前的 WordCount 程序有很多相似的地方，就是一个k2包含文件名的WordCount；第二次则在 Reducer 中累加的不是单词的个数，而是 value 字符串的适当叠加。
  • 对于v1，无论v1是第一次中的word还是第二次中一个IntWritable的count，从文件中读入的v1都是Text类型，才能从而实现对v1的分割。
River_flow
关注
专栏目录
MapReduce--倒排索引
jianjian1992的专栏
08-04 4832
文档倒排算法简介Inverted Index(倒排索引)是目前几乎所有支持全文检索的搜索引擎都要依赖的一个数据结构。基于索引结构，给出一个词(term)，能取得含有这个term的文档列表(the list of documents) Web Search中的问题主要分为三部分： crawling(gathering web content) ,网页爬虫，收集数据 indexing(construc
MapReduce经典案例-倒排索引
hhhahahaha的博客
06-30 1792
一、案例分析 1.倒排索引介绍 倒排索引是文档检索系统中最常用的数据结构，被广泛应用于全文搜索引擎。倒排索引主要用来存储某个单词(或词组)住一组文档中的存储位置的映射，提供了可以根据内容来查找文档的方式，而不是根据文档来确定内容，因此称为倒排索引（Inverted Index）。带有倒排索引的文件称为倒排索引文件，简称倒排文件(Inverted File)。 通常情况下,倒排文件由一个单词(或词组)和相关联的文档列表组成。如图所示。 从图可以看出,建立倒排索引的目的是为了更加方便地搜索。例如，单词1出现在
文档倒排索引的MapReduce程序设计与实现
09-22
文档倒排索引的MapReduce程序设计与实现
Hadoop-MapReduce案例-倒排索引
qq_42409495的博客
12-10 1965
1 需求 有大量的文本（文档、网页），需要建立搜索索引 （1）数据输入 aa.txt hadoop spark hadoop java hadoop java hadoop scala bb.txt hadoop spark hadoop spark spark scala java scala cc.txt hadoop scala hadoop spark spark java 2 代码实现 （1）第一次处理，编写OneIndexMapper类 package com.jac
MapReduce编程——倒排索引
a166244的博客
03-29 253
需求：统计每个单词在每个文件中出现的词频 有2个文件：a.txt b.txt a.txt 文件中的内容： <0,”hello tom”> <1,”hello kitty”> <2,”hello world”> <3,”hello jerry”> b.txt 文件中的内容： <0,”hello tom...
Mapreduce实现倒排索引建立
成都往右的博客
10-16 1079
需求：有大量的文本（文档、网页），需要建立搜索索引
基于HADOOP的倒排索引实现
06-22
倒排索引：倒排索引是一种数据结构，它将每个词项与包含该词项的所有文档列表关联起来。在搜索时，通过查找关键词在倒排索引中的位置，可以快速找到包含该关键词的文档。 MapReduce程序：MapReduce是一种编程模型，...
大数据系统开发实践项目——安装完全分布式Hadoop集群并利用MapReduce实现倒排索引（北理工大三小学期）
最新发布
2301_79058506的博客
04-28 870
接着，在倒排索引的构建过程中，再次运用MapReduce任务，应用TF-IDF算法，将词项映射到包含它的文档，并记录词项在文档中的位置信息，以计算每个词项的在文档中的重要性，确保了对文档的全面索引，为后续的搜索排序提供基础。Reduce阶段首先以键值对形式接收来自Map部分的输出，其中键为词项，值为文档ID和文档内容的列表，然后针对相同的词项，将它们对应的文档ID和文档内容列表合并，形成倒排索引的条目，最后生成输出最终的键值对，其中键为词项，值为包含该词项的文档ID和位置信息。
MapReduce入门：倒排索引与云计算探讨
在这个过程中，每个Map任务会接收键值对（如单词作为键，文档URL和词频作为值），并根据预定义的函数（Mapper）处理这些数据，生成中间结果，即初步的倒排索引，包含单词、对应的文档URL以及词频。 2. 云计算背景：...
Mapreduce实例——WordCount
热门推荐
@柠檬少年
06-28 1万+
Mapreduce简介 MapReduce的工作原理 WordCount 实验环境 实验步骤 Mapreduce简介 MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是”任务的分解与结果的汇总“。 MapReduce的...
大数据MapReduce学习案例：倒排索引
梁辰兴的博客
12-14 1615
倒排索引是文档检索系统中最常用的数据结构，被广泛应用于全文搜索引擎。倒排索引主要用来存储某个单词（或词组）在一组文档中的存储位置的映射，提供了可以根据内容来查找文档的方式，而不是根据文档来确定内容，因此称为倒排索引（Inverted Index）。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(Inverted File)。
MapReduce实现倒排索引
ystraw - Come on！！！
11-29 1894
MapReduce实现倒排索引 配置过程 在实验室机器上进行的相关配置：系统本身就是Ubuntu18.04，需要安装Hadoop 3.0.3版本，需要配置Jdk是1.8。 SSH的配置 cd ~/.ssh cat id_rsa.pub >> authorized_keys ssh localhost 伪分布式配置 在/etc/hadoop/core-site.xml文件末尾添加如下内容： vim ./etc/hadoop/core-site.xml 添加内容： <configurati
使用MapReduce实现简单的倒排索引
红豆和绿豆的博客
01-18 1417
package InvertedIndexer; import java.io.IOException; /*  * 简单的倒排索引  * Map的输出是  * （word，filename#偏移地址）  * Reduce的过程就是  * （word，fielename#偏移地址，filename#偏移地址）  * */ public class SimpleIn
大数据 | 实验二：文档倒排索引算法实现
知识库搭建ing
04-26 2331
倒排索引（Inverted Index）被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射，是目前几乎所有支持全文索引的搜索引擎都需要依赖的一个数据结构。
MapReduce 案例之倒排索引
Running_Tiger的博客
02-09 1807
MapReduce 案例之倒排索引1. 倒排索引倒排索引是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。 它主要是用来存储某个单词（或词组） 在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引（ Inverted Index）。2. 实例描述通常情况下，倒排索引由一个单词（或词组）以
Hadoop3.2.2实现倒排索引
weixin_45861496的博客
05-08 2020
本文是使用MapReduce并行分布式计算框架进行编程，实现倒排索引建立； 1.倒排索引的介绍 “倒排索引”是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引（Inverted Index）。 2.样例输入如下 1）file1 MapReduce is simple 2）file2 MapReduce is p
MapReduce实现分词和倒排索引(算法TF-IDF)
尹忠政的博客
06-02 1132
MapReduce实现分词和倒排索引(算法TF-IDF) 介绍IFDF IF：词频（单词在文档中出现的次数/文档中的总词数） DF：逆向文件频率（log(文档总数/出现该单词的文件数量)），log归一化，避免了一些常用词如 的,了等词的评分 IF/DF能表明单词在索引(文档库)的重要程度 输入文件 id \t 文本内容 3823891101582094 我爱中国 3823891201582...
MapReduce实现的文档倒排索引设计与详解
文档倒排索引的MapReduce程序设计与实现是一种在大规模数据处理框架中，如Hadoop MapReduce模型，用于构建搜索引擎索引的方法。倒排索引是一种高效的数据结构，它将文本中的单词及其在文档中的出现位置映射到一起，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值