MapReduce项目案例1

最新推荐文章于 2023-08-25 10:15:36 发布
最新推荐文章于 2023-08-25 10:15:36 发布
阅读量336 收藏
点赞数
分类专栏： Hadoop 文章标签： mapreduce 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51699336/article/details/125352483
版权
本文展示了如何利用Hadoop MapReduce处理各种数据任务，包括单词计数、去重、排序和平均值计算。通过示例代码详细解释了Mapper和Reducer的实现过程，涉及文本切分、数据规约和键值对处理等核心概念。
摘要由CSDN通过智能技术生成

统计单词数

1.输入内容

hello world i am teacher
hello world i am teacher
hello world i am teacher
hello world i am teacher
hello world
hello world

2.输出内容

am	4
hello	6
i	4
teacher	4
world	6

3.代码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.StringTokenizer;

public class WordCount {

    /**
     * map映射器：将输入<字节偏移量，一行文本>切分成<单词，次数>
     * map之前有一步split，将文本切分成<字节偏移量，一行文本>
     */
    public static class TokenizerMapper
            extends Mapper<Object, Text, Text, IntWritable> {//<前两位表示输入类型<偏移量，一行文本>，后两位表示输出类型<单词，数字>>

        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        /**
         * 前两个参是输入类型
         *
         * @param key     偏移量
         * @param value   一行文本，Text类型可序列化，可比较(WritableComparable接口)
         * @param context hadoop运行容器，可取出运行时的环境变量
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        public void map(Object key, Text value, Context context
        ) throws IOException, InterruptedException {
            System.out.println("切分split后数据--偏移量:" + key + "\t值:" + value);
            StringTokenizer itr = new StringTokenizer(value.toString());//根据自然分隔符分割
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());//写入文本对象
                context.write(word, one);//保存出去(单词，数字)
            }
        }
    }

    /**
     * combiner(单节点合并)和reduce(多节点数据合并)都是对相同键的数据进行规约
     * <前两个泛型表示规约的输入数据来源于map的输出，后两个是规约后的单词与数字>
     */
    public static class IntSumReducer
            extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        /**
         * @param key     单词
         * @param values  相同单词对应出现次数的集合
         *                类中泛型约束是IntWritable，为什么方法上是Iterable<IntWritable>？
         *                因为在统计之前会相同的键做成列表word [1,1,1]，然后在规约word 3
         * @param context
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {//对一个键
                sum += val.get();//求和规约
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();//配置参数(map数,reduce数...对于配置配置文件中的API配置)
        Job job = Job.getInstance(conf, "word count");//名字
        job.setJarByClass(WordCount.class);//上线的jar
        job.setMapperClass(TokenizerMapper.class);//mapper
        job.setCombinerClass(IntSumReducer.class);//combine:合并一个节点
        job.setReducerClass(IntSumReducer.class);//reduce:合并不同节点
        job.setOutputKeyClass(Text.class);//输出键的类型，与上面一致
        job.setOutputValueClass(IntWritable.class);//输出值的类型，与上面一致
        FileInputFormat.addInputPath(job, new Path("E:\\HadoopMRData\\input"));//输入目录
        FileOutputFormat.setOutputPath(job, new Path("E:\\HadoopMRData\\output"));//输出目录，这个目录要不存在运行时创建，特别注意要设置到空目录，应为执行之前会删一次****
       /* FileInputFormat.addInputPath(job, new Path(args[0]));//命令行运行时传入
        FileOutputFormat.setOutputPath(job, new Path(args[1]));*/
        System.exit(job.waitForCompletion(true) ? 0 : 1);//启动，0表示正常退出
    }
}

去除重复项

1.输入内容

11
11
11
12
13

2.输出内容

11	
12	
13

3.代码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class RemoveRepeat {

    /**
     * map映射器：将输入<字节偏移量，一行文本>切分成<单词，次数>
     * map之前有一步split，将文本切分成<字节偏移量，一行文本>
     */
    public static class MyMapper extends Mapper<LongWritable, Text, Text, Text> {

        @Override
        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            System.out.println("切分split后数据--偏移量:" + key + "\t值:" + value);
            context.write(new Text(value), new Text(""));
        }

    }

    /**
     * map后的数据
     * 11 ""
     * 11 ""
     * 11 ""
     * 12 ""
     * 底层有一次合并，传给reduce的数据为
     * 11 ["","",""]
     * 12 [""]
     */

    public static class MyReducer extends Reducer<Text, Text, Text, Text> {
        @Override
        public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            context.write(key, new Text(""));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();//配置参数(map数,reduce数...对于配置配置文件中的API配置)
        Job job = Job.getInstance(conf, "remove repeat");//名字
        job.setJarByClass(RemoveRepeat.class);//上线的jar
        job.setMapperClass(MyMapper.class);//mapper
        job.setCombinerClass(MyReducer.class);//combine:合并一个节点
        job.setReducerClass(MyReducer.class);//reduce:合并不同节点
        job.setOutputKeyClass(Text.class);//输出键的类型，与上面一致
        job.setOutputValueClass(Text.class);//输出值的类型，与上面一致
        FileInputFormat.addInputPath(job, new Path("E:\\HadoopMRData\\input"));//输入目录
        FileOutputFormat.setOutputPath(job, new Path("E:\\HadoopMRData\\output"));//输出目录，这个目录要不存在运行时创建，特别注意要设置到空目录，应为执行之前会删一次****
        /*FileInputFormat.addInputPath(job, new Path(args[0]));//命令行运行时传入
        FileOutputFormat.setOutputPath(job, new Path(args[1]));*/
        System.exit(job.waitForCompletion(true) ? 0 : 1);//启动，0表示正常退出
    }
}

去重并两种方式输出序号

1.输入内容

6
16
8
12
5
7
6
6

2.输出内容

1	1	5
2	2	6
3	5	7
4	6	8
5	7	12
6	8	16

3.代码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class Order {

    public static class MyMapper extends Mapper<LongWritable, Text, IntWritable, Text> {
        @Override
        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            System.out.println("切分split后数据--偏移量:" + key + "\t值:" + value);
            int va = Integer.parseInt(value.toString());
            context.write(new IntWritable(va), new Text("1"));
        }
    }

    /**
     * map后的数据,根据key会自动排号序
     * 5    ""
     * 6    ""
     * 6    ""
     * 6    ""
     * 7    ""
     * 8    ""
     * 12   ""
     * 16   ""
     * 底层有一次合并，传给reduce的数据为
     * 5    [""]
     * 6    ["","",""]
     * 7    [""]
     * 8    [""]
     * 12   [""]
     * 16   [""]
     */

    public static class MyReducer extends Reducer<IntWritable, Text, IntWritable, Text> {
        private int num1 = 1;//负责连续序号
        private int num2 = 1;//负责跳跃序号

        @Override
        protected void reduce(IntWritable key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            context.write(new IntWritable(num1), new Text(num2 + "\t" + key.get()));
            for (Text val : values) {
                num2++;
            }
            num1++;
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();//配置参数(map数,reduce数...对于配置配置文件中的API配置)
        Job job = Job.getInstance(conf, "order");//名字
        job.setJarByClass(Order.class);//上线的jar
        job.setMapperClass(MyMapper.class);//mapper


        /**
         * 单节点不能合并，若合并会变成  如下
         * combine完了之后的数据，也就是reduce接收的数据
         * 1    1   5
         * 2    2   6
         * 3    5   7
         * 4    6   8
         * 5    7   12
         * 6    8   16
         * 然乎reduce又会执行一次MyReduce,但是传入的结果如上，此时key已经发生了变化，按照上边算法不会再合并了******
         * 1    1   1
         * 2    2   2
         * 3    3   3
         * 4    4   4
         * 5    5   5
         * 6    6   6
         */
        //job.setCombinerClass(MyReducer.class);//combine:合并一个节点


        job.setReducerClass(MyReducer.class);//reduce:合并不同节点
        job.setOutputKeyClass(IntWritable.class);//输出键的类型，与上面一致
        job.setOutputValueClass(Text.class);//输出值的类型，与上面一致
        FileInputFormat.addInputPath(job, new Path("E:\\HadoopMRData\\input"));//输入目录
        FileOutputFormat.setOutputPath(job, new Path("E:\\HadoopMRData\\output"));//输出目录，这个目录要不存在运行时创建，特别注意要设置到空目录，应为执行之前会删一次****

        /*FileInputFormat.addInputPath(job, new Path(args[0]));//命令行运行时传入
        FileOutputFormat.setOutputPath(job, new Path(args[1]));*/
        System.exit(job.waitForCompletion(true) ? 0 : 1);//启动，0表示正常退出
    }
}

同一个学生的平均值

1.输入内容

张三	98
李四	94
王五	89
张三	86
李四	92
王五	86
张三	82
李四	90

2.输出内容

张三	88.66666666666667
李四	89.5
王五	89.54166666666667

3.代码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.StringTokenizer;

public class Average {

    public static class MyMapper extends Mapper<LongWritable, Text, Text, Text> {
        @Override
        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            System.out.println("切分split后数据--偏移量:" + key + "\t值:" + value);
            StringTokenizer tokenizer = new StringTokenizer(value.toString());//根据自然分割符分割
            while (tokenizer.hasMoreTokens()) {
                context.write(new Text(tokenizer.nextToken()), new Text(tokenizer.nextToken()));
            }
        }
    }

    /**
     * map后的数据,根据key会自动排号序
     * 张三	98
     * 李四	94
     * 王五	89
     * 张三	86
     * 李四	92
     * 王五	86
     * 张三	82
     * 李四	90
     * 底层有一次合并，传给reduce的数据为
     * 张三	[98,86,82]
     * 李四	[94,92,90]
     * 王五	[89,86]
     */

    public static class MyReducer extends Reducer<Text, Text, Text, Text> {
        private int count = 0;//记录该人有多少成绩
        private double sum = 0;//记录成绩总和

        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            for (Text val : values) {
                sum += Double.parseDouble((val.toString()));
                count++;
            }
            context.write(key, new Text(String.valueOf(sum / count)));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();//配置参数(map数,reduce数...对于配置配置文件中的API配置)
        Job job = Job.getInstance(conf, "average");//名字
        job.setJarByClass(Average.class);//上线的jar
        job.setMapperClass(MyMapper.class);//mapper
        job.setCombinerClass(MyReducer.class);//combine:合并一个节点
        job.setReducerClass(MyReducer.class);//reduce:合并不同节点
        job.setOutputKeyClass(Text.class);//输出键的类型，与上面一致
        job.setOutputValueClass(Text.class);//输出值的类型，与上面一致
        FileInputFormat.addInputPath(job, new Path("E:\\HadoopMRData\\input"));//输入目录
        FileOutputFormat.setOutputPath(job, new Path("E:\\HadoopMRData\\output"));//输出目录，这个目录要不存在运行时创建，特别注意要设置到空目录，应为执行之前会删一次****

        /*FileInputFormat.addInputPath(job, new Path(args[0]));//命令行运行时传入
        FileOutputFormat.setOutputPath(job, new Path(args[1]));*/
        System.exit(job.waitForCompletion(true) ? 0 : 1);//启动，0表示正常退出
    }
}
ChenJieYaYa
关注
专栏目录
MapReduce综合案例（4个）
06-16
1. 社交网络综合评分案例： 在这个案例中，MapReduce被用于分析社交网络用户的行为和互动，以便计算每个用户的影响力分数。Map阶段，数据会被拆分成用户之间的交互事件，如点赞、评论、分享等。然后，这些事件被...
一文学会MapReduce编程
pengpengsays
01-04 248
MapReduce编程模型，相对于初学者来说，会有一些门槛，没关系，这一篇让你学会使用MapReduce进行分布式处理。 基础知识 MapReduce 框架只对 <key, value> 形式的键值对进行处理。MapReduce会将任务的输入当成一组 <key, value> 键值对，最后也会生成一组 <key, value> 键值对作为结果。常见的输入为文件，此时读取的行偏移量会作为Key，文件内容作为Value。 key 和 value 的类必须由框架来完成序列化，所
数据研发学习笔记4.6：大数据之MapReduce
weixin_41961559的博客
05-17 992
文章目录1 概述1.1 分布式并行编程1.2 MapReduce模型简介1.3 Map和Reduce函数2 MapReduce体系结构3 MapReduce工作流程3.1 工作流程概述3.2 MapReduce各个执行阶段3.3 Shuffle过程详解3.4 MapReduce应用程序执行过程4 实例分析：WordCount4.1 WordCount程序任务4.2 WordCount设计思路4.3 一个WordCount执行过程的实例5 MapReduce的具体应用6 MapReduce编程实践 1 概述
编程实现MapReduce操作
weixin_46406308的博客
10-18 2228
3.上传hello.txt,par_1.txt和part_2.txt,sort.txt,second.txt文件到hadoop HDFS。解决：这是因为在txt文件中使用了空格隔开数据，代码中使用的是tab分隔，将txt中的空格换为tab即可(数据之间只能用一个tab隔开)问题2：partitionerjar包运行时报错java.lang.ArrayIndexOutOfBoundsException: 1。2.将jar包上传 到/home/admin/file/mapreduce。1.创建maven工程。
MapReduce详解
幽雨雨幽
08-08 663
MapReduce模型简介：     •MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce   •编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算   •MapReduce采用“分而治之”策略，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片（split），这些分片...
Map Reduce案例项目实现（c编译和eclipse）
Above the cloud
07-30 1016
实现Map/Reduce的实例 Map/Reduce操作代表了一大类的数据处理操作方式，为了让大家对Map/Reduce的工作过程有一个直观的了解，下面的程序采用C语言实现了一个简单经典的Map/Reduce计算，计算从控制台输入的字符串中单词的计数。 1、编写代码 2、编译代码 3、运行程序 安装Eclipse开发工具 Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。使用Eclipse工具便于我们开发hadoop应用软
mapreduce项目 数据清洗
10-10
在这个"MapReduce项目 数据清洗"中，我们将探讨如何使用MapReduce对遗传关系族谱数据进行处理和清洗，以便进行后续分析。 1. **Map阶段**： 在Map阶段，原始数据被分割成多个小块（split），然后分配到不同的工作...
大数据mapreduce案例
08-25
1. MapReduce的基本概念 MapReduce的核心思想是将大规模数据集分割成小块，然后在多台机器上并行处理这些小块。Map阶段负责将原始数据转化为键值对形式，Reduce阶段则负责聚合这些键值对，进行进一步的计算和汇总。...
MapReduce开发案例
03-07
1. **设置输入和输出路径**：在MapReduce程序的初始化阶段，需要指定输入数据文件的路径（通常是HDFS中的一个目录）以及预期输出结果的路径。 2. **编写Mapper**：Mapper类包含map()方法，这是处理输入数据的地方。...
mapreduce综合应用案例2.zip
最新发布
06-16
MapReduce是一种分布式计算模型，由Google在2004年提出，主要用于处理和生成大规模数据集。...在实际项目中，结合Hadoop等大数据生态系统，可以更好地发挥MapReduce的优势，处理各种复杂的数据清洗和分析任务。
使用Eclipse创建MapReduce工程
weixin_64420247的博客
03-27 2879
1.实训目标（1）掌握以Exlipse创建MapReduce工程2.实训环境（1）使用CentOS的Linux操作系统搭建的3个节点（2）使用Eclipse软件作为编程软件（3）使用插件hadoop-eclipse-plugin-2.x.x.jar3.实训内容（1）配置MapReduce环境（2）新建MapReduce工程4.实训步骤4.1配置MapReduce环境。
MapReduce实战案例(2)
千锋教育
05-30 590
2.1 项目准备需求a) 从原始日志文件中读取数据b) 根据日志中的一个URL字段到外部知识库中获取信息增强到原始日志c) 如果成功增强，则输出到增强结果目录；如果增强失败，则抽取原始数据中URL字段输出到待爬清单目录测试数据分析程序的关键点是要在一个MapReduce程序中根据数据的不同输出两类结果到不同目录，这类灵活的输出需求可以通过自定义outputformat来实现2.2 项目实现实现要点a) 在MapReduce中访问外部资源。
Hadoop环境搭建测试以及MapReduce实例实现
黄笳倞的博客
10-24 9764
首先我们启动eclipse需要管理员的权限，这样我们在运行这个程序时，避免了“无法访问”的错误。MapReduce实例实现的主要难点是代码的编写.希望各位既可以掌握Hadoop伪分布式的搭建过程，也熟悉一些Linux指令，锻炼动手能力。
MapReduce实战项目——芝加哥的犯罪数据分析
一纸春秋的博客
07-24 3294
数据来源是https://www.kaggle.com/currie32/crimes-in-chicago 以下是数据集的预览 数据各个标签的含义如下 //ID --> 身份证ID Case Number --> 案件编号 Date --> 事件发生的日期 Block --> 事件发生地的部分编辑地址，将其放置在与实际地址相同的块上。 IUCR --> 犯罪报告代码 //Primary Type --> 主要类型(主要描述的IUCR代码) //Description
最全Mapreduce保姆级教程(建议收藏，随用随查)
浅谈
06-20 1128
Mapreduce的设计思想、Mapreduce的模板类、Mapreduce的数据类型、Mapreduce的处理流程、Mapreduce的处理流程图、Mapreduce的shuffle、Shuffle的优化、Mapreduce的join、Mapreduce的自定义分区、Mapreduce的自定义输入和输出等等！
大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现
ZShiJ的博客
08-25 5611
通过充分利用分布式计算，Hadoop实现了对大规模数据的高效处理，使得复杂的数据分析任务变得可管理和高效。通过这一实践案例，我们可以深入了解Hadoop的MapReduce编程模型，以及如何在实际应用中利用其优势来处理和分析海量数据。
MapReduce项目之气温统计
weixin_34124939的博客
03-25 717
　　在本博文，我们要学习一个挖掘气象数据的程序。气象数据是通过分布在美国全国各地区的很多气象传感器每隔一小时进行收集，这些数据是半结构化数据且是按照记录方式存储的，因此非常适合使用 MapReduce 程序来统计分析。 　　我们使用的数据来自美国国家气候数据中心、美国国家海洋和大气管理局（简称 NCDCNOAA），这些数据按行并以 ASCII 格式存储，其中每一行是一条记录。 下面我们展示一行采...
（超详细）MapReduce工作原理及基础编程
热门推荐
JunLeon的博客
11-11 4万+
MapReduce编程基础 JunLeon——go big or go home 前言： Google于2003年在SOSP上发表了《The Google File System》，于2004年在OSDI上发表了《MapReduce: Simplified Data Processing on Large Clusters》，于2006年在OSDI上发表了《Bigtable: A Distributed Storage System for Structured Data》。这三篇论文...
MapReduce入门教程：WordCount案例解析
"MapReduce是Apache Hadoop项目中的一个核心组件，它是一个分布式计算框架，主要用于处理和生成大规模数据集。这个框架借鉴了Google的MapReduce编程模型，将大规模数据处理任务分解为两个阶段：Map阶段和Reduce阶段...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值