MapReduce程序之Index串联案例

最新推荐文章于 2022-06-02 11:26:13 发布
最新推荐文章于 2022-06-02 11:26:13 发布
阅读量225 收藏 1
点赞数 1
分类专栏： Hadoop java 文章标签： 大数据 hadoop mapreduce java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42083008/article/details/109751487
版权
java 同时被 2 个专栏收录
15 篇文章 0 订阅
订阅专栏
Hadoop
10 篇文章 0 订阅
订阅专栏

Index串联案例

现有三个文件  a.html    b.html  c.html ,里面分别记录着单词，如下图所示，现需要计算出 每个单词在每个文件出现的次数，格式如下：  Hello  a.html-4   b.html-8  c.html-10

a.html

hello tom
hello jim                 
hello kitty
hello rose

b.html

hello jerry
hello jim
hello kitty
hello jack

c.html

hello jerry
hello java
hello c++
hello c++
hello hello

需求分析：

需要   Hello  a.html-4   b.html-8  c.html-10   很明显最后，输出的单词作为key，value是一个字符串    这个字符串是拼接而成，且涉及到文件名和各自的聚合个数

我们能够轻而易举的计算出来的是  每个单词 出现的个数 如：Hello   10    java   20   ...

很明显 一个mapreduce是计算不出来的，所以我们采用两个mapreduce程序串联的写法进行计算

第一个mapredue

1）map：以单词-文件名作为key   个数作为value输出 到reduce

2）reduce：聚合求出 

Hello-a.html   10

Hello-b.html   20

Hello-c.html   30

第二个mapreduce

1）map: 读取第一个mapreduce输出的文件   进行切割   Hello    a.html   10   以Hello为key     以a.html-10拼接为value输出给reduce

2）reduce :拿到的数据格式应为： Hello（a.html-10,b.html-20,c.html-30）循环迭代器 拼接完成最终结果输出

第一个MapReduce程序

文件名的获取关键：重写父类的setup方法

 String fileName = null;

        @Override
        protected void setup(Context context) throws IOException, InterruptedException {
            FileSplit fs = (FileSplit) context.getInputSplit();
            fileName = fs.getPath().getName();
        }

 

如下图：在进行循环读取文件数据之前，先执行的setup方法，所以同一个maptask中 fileName都是同一个

mapreduce程序：

package cn.doit19.hadoop.review.index;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * @author:tom
 * @Date:Created in 19:56 2020/11/17
 */
@SuppressWarnings("all")
public class Index1 {

    //Index案例  串联案例

    static class Index1Map extends Mapper<LongWritable, Text, Text, IntWritable> {
        Text k = new Text();
        String fileName = null;

        @Override
        protected void setup(Context context) throws IOException, InterruptedException {
            FileSplit fs = (FileSplit) context.getInputSplit();
            fileName = fs.getPath().getName();
        }

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            try {
                //读一行执行一次
                String line = value.toString();
                //line的内容

                //hello tom
                //hello jim
                //hello kitty
                //hello rose
                String[] words = line.split("\\s+");//{hello,tom }
                for (String word : words) {
                    //拼接单词+文件名
                    k.set(word + "-" + fileName);
                    //输出结果到reduce
                    context.write(k, new IntWritable(1));
                }

            } catch (Exception e) {
                e.printStackTrace();
            }

        }
    }


    static class Index1Reducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            try {
                //  key  +   迭代器 内容如下
                //  Hello-a.html (1,1,1,1,1)     Hello-b.html(1,1,1,1,1)
                int count = 0;
                for (IntWritable value : values) {
                    count++;
                }
                context.write(key, new IntWritable(count));
            } catch (Exception e) {
                e.printStackTrace();
            }


        }
    }


    public static void main(String[] args) throws Exception {
        //初始化配置对象
        Configuration conf = new Configuration();

        //创建job对象
        Job job = Job.getInstance(conf);

        //设置map task 类
        job.setMapperClass(Index1Map.class);

        //设置reduce task 类
        job.setReducerClass(Index1Reducer.class);

        //设置map输出类型  kv
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //设置reduce 最终输出类型  kv
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //设置reduce 数量
//        job.setNumReduceTasks(2);

        //设置输入路径
        FileInputFormat.setInputPaths(job, new Path("E:\\MR\\index"));

        //设置输出路径
        FileOutputFormat.setOutputPath(job, new Path("E:\\MR\\In\\index1"));

        //提交任务
        boolean s = job.waitForCompletion(true);
    }
}

mapreduce程序输出结果：

 

第二个MapReduce程序

package cn.doit19.hadoop.review.index;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * @author:tom
 * @Date:Created in 21:03 2020/11/17
 */
@SuppressWarnings("all")
public class Index2 {
    static class Index2Map extends Mapper<LongWritable, Text, Text, Text> {
        Text k = new Text();
        Text v = new Text();

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            try {
                //读一行执行一次
                String line = value.toString();
                //line的内容
                // Hello-a.html  10    Hello-b.html  20
                String[] words = line.split("\\s+");//{Hello-a.html,10 }
                String[] split = words[0].split("-");
                k.set(split[0]);
                //拼接value
                v.set(split[1] + "-" + words[1]);
                //输出结果到reduce
                context.write(k, v);
            } catch (Exception e) {
                e.printStackTrace();
            }

        }
    }


    static class Index2Reducer extends Reducer<Text, Text, Text, Text> {
        Text v = new Text();

        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            StringBuilder sb = new StringBuilder();
            for (Text value : values) {
                sb.append(value + " ");
            }
            v.set(sb.toString().trim());
            context.write(key, v);
        }
    }


    public static void main(String[] args) throws Exception {
        //初始化配置对象
        Configuration conf = new Configuration();

        //创建job对象
        Job job = Job.getInstance(conf);

        //设置map task 类
        job.setMapperClass(Index2.Index2Map.class);

        //设置reduce task 类
        job.setReducerClass(Index2.Index2Reducer.class);

        //设置map输出类型  kv
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);

        //设置reduce 最终输出类型  kv
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        //设置reduce 数量
//        job.setNumReduceTasks(2);

        //设置输入路径
        FileInputFormat.setInputPaths(job, new Path("E:\\MR\\In\\index1"));

        //设置输出路径
        FileOutputFormat.setOutputPath(job, new Path("E:\\MR\\out\\index2"));

        //提交任务
        boolean s = job.waitForCompletion(true);
    }

}

输出结果：

更多学习、面试资料尽在微信公众号：Hadoop大数据开发

菜鸟周星星
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce综合案例（4个）
06-16
1.社交网络综合评分案例 2.微博精准营销案例 3.物品推荐案例 4.QQ好友推荐案例
MapReduce入门案例.rar
12-16
整理了MapRduce的几个入门案例，提供源数据 案例分为： 1、统计单词的个数 2、设置分区 3、统计json数据 4、统计并排序 5、mapReducer找朋友的使用
数组reduce的使用方法
huihui_999的博客
10-23 5463
可以理解为数组的归并方法,这个方法和迭代方法（map,forEach,filter...）一样，都会对数组进行遍历，reduce与他们不同的是函数的第一个参数得到的是迭代计算后的效果. 语法: 接收两个参数： 一.要执行的函数，要执行的函数中也可传入参数，分别为: 1.prev：上次调用函数的返回值 2.cur：当前元素 3.index：当前元素索引 4.arr：被遍历的数组 二.函数迭代的初始值 我们分情况来介绍: a.没有设置函数的初始迭代值 我们来分析一下,在此redu.
reduce的介绍及用法
热门推荐
nick_zhang的博客
12-06 4万+
reduce总的来说用的不多，但最近看一些文章上的reduce的用法真的是骚气，其实reduce跟常用的map，forEach一样，也是用于遍历循环，只不过它可以设置初始值，这样可以大大减少代码，增强可读性.
reduce的简介和 shift方法
xiaoqin5的博客
06-02 949
reduce 的详解以及一些使用场景
reduce()用法
sfx_ss的博客
11-11 785
数组的reduce()用法 用法：对数组的每一项进行累加，最后返回一个总数， arr.reduce(callback(accumulator, currentValue[, index[, array]])[, initialValue]) reduce()接受一个回调函数和initialValue这个参数 ，数组调用reduce（）时，数组的每一项都会执行传入的回调函数，将结果累加，最终返回一个总值，initialValue累计值的初始值，可选参数 回调函数有四个参数，分别是accumulator累加
MapReduce来构建索引
tao_wei162的博客
12-14 707
单机程序使用使用hadoop的构建lucene索引，本篇呢，我们里看下如何使用MapReduce来构建索引，代码如下： Java代码   package com.mapreduceindex;      import java.io.IOException;   import java.util.ArrayList;   import java.util.List...
mapreduce程序
12-08
在hadoop平台关于mapreduce的一些应用程序，实现对大数据的分析处理
mapreduce案例数据
11-23
mapreduce案例数据：dept.csv，emp.csv，sales.csv
MapReduce之Join操作
01-30
在关系型数据库中 ...MapReduce编程模型，也有相应的处理措施和优化方法。本文对Hadoop中最基本的join方法进行简单介绍，这也是其它许多方法和优化措施的基础。文中所采用的例子来自于《 HadoopinAc
Hadoop mapreduce 实现InvertedIndexer倒排索引
01-28
Hadoop mapreduce 实现InvertedIndexer倒排索引，能用。
使用 reduce获取数组最小值 和索引
weixin_43387812的博客
01-07 980
var arr = [0,1,2,4,6,10,-1] var obj = arr.reduce((a,b,index,arr)=>{ if(b<a.val){ a.val = b; a.index = index }else{ console.log(b) } return a },{val:arr[0],index:0}) console.log(o...
reduce参数的理解
CSDNycx的博客
06-03 1785
let arr = [1, 2, 3, 4, 5] let res = arr.reduce((val, item, index, self) => { console.log(val, 'val') console.log(item, 'item') console.log(index, 'index') return val + item * index }) console.log(res)
MapReduce功能实现十---倒排索引(Inverted Index)
小强签名设计 的博客
08-02 1万+
前言："倒排索引"是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档中的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行相反的操作，因而称为倒排索引（Inverted Index） 1.模拟数据： [hadoop@h71 q1]$ vi file1.txt mapr
MapReduce实战--倒排索引
weixin_33757609的博客
12-22 279
本文地址：http://www.cnblogs.com/archimedes/p/mapreduce-inverted-index.html，转载请注明源地址。 1.倒排索引简介 倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。 有两种...
Hadoop之道--MapReduce简单应用倒排索引(InversedIndex)
星.云计算
06-04 231
Hadoop版本：1.1.2 集成开发平台:Eclipse SDK 3.5.1 原创作品，转载请标明：http://blog.csdn.net/yming0221/article/details/9024419 倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统...
swift map reduce 获取下标(index)的方法
ai309581115的专栏
06-29 3236
原文:http://stackoverflow.com/questions/28012205/map-or-reduce-with-index-in-swift You can use enumerate to convert a sequence (Array, String, etc.) to a sequence of tuples with an integer coun
reduce用法
weixin_46772652的博客
07-08 2562
reduce() 这个方法很牛逼 可以应用很多场景 简单介绍： reduce() 方法接收一个函数作为累加器， 数组中的每个值（从左至右） 开始缩减， 最终为一个值 其实 reduce 接收的就是一个 回调函数 , 去调用数组中的每一个项 ， 直到数组结束 注意： 这里如果没有可选参数 initialValue 将会从 index= 1的值 开始计算 ， 就是这样排序的将数组的 索引值为 0 的数据项 ，作为计算中的 索引值为 1 ，本质没改变 数组名.reduce( callback, [initial
hadoop编写mapreduce程序
最新发布
03-16
Hadoop编写MapReduce程序是指使用Hadoop框架来实现MapReduce算法。MapReduce是一种分布式计算模型，它将大规模数据集分成小的数据块，然后在分布式计算集群上并行处理这些数据块。MapReduce程序由两个部分组成：Map...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值