实验一、MapReduce基本编程方法

已于 2023-11-24 22:53:48 修改
阅读量195 收藏 2
点赞数
分类专栏： 大数据计算 文章标签： mapreduce 大数据 ubuntu linux intellij-idea jar
于 2023-10-23 10:57:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52147555/article/details/133984267
版权

一、实验目的

理解MapReduce工作流程；
掌握MapReduce基础编程方法；

二、实验平台

操作系统：Linux（建议Ubuntu16.04）；
Hadoop版本：2.7.1；
JDK版本：1.7或以上版本；
Java IDE：IDEA

三、实验内容

(一)、单词去重: 将一个文件内的所有单词去重，输出为去重后的单词

(1)编写MapReduce代码
(2)编译并打包项目
(3)使用hadoop jar命令运行程序
(4)到控制台查看输出文件结果

输入如下
one two three four five
one two three four
one two three
one two
hello world
hello China
hello fuzhou
hello hi

输出如下
China
five
four
fuzhou
hello
hi
one
three
two
world

（1）建立 input 文件夹存放所要处理的文件。
（2）将 ex1.java 文件所在 project_one 项目打包成 jar，并将其复制到相关文件夹中，如下图所示：
在这里插入图片描述（3）运行 project_one.jar，将结果存放在新文件夹 output 中，如下图所示：
在这里插入图片描述

（4）查看运行结果，如下图所示：
在这里插入图片描述

程序代码：
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class ex1 {
    public static class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
        private final static IntWritable one =new IntWritable(1);
        private Text word =new Text();
        public void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context
        ) throws IOException, InterruptedException {
            String[] itr = value.toString().split(" ");
            for (String it:itr) {
                word.set(it);
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends Reducer<Text,IntWritable,Text,Text> {
        private IntWritable result =new IntWritable();
        public void reduce(Text key, Iterable<IntWritable> values,
                           Context context
        ) throws IOException, InterruptedException {

            context.write(key,new Text(""));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf =new Configuration();
        conf.set("fs.defaultFS","hdfs://localhost:9000");
        String[] otherArgs=new String[]{"input","output"};
        FileSystem fs  = FileSystem.get(conf);
        if (otherArgs.length != 2){
            System.err.println("Usage:wordcount<in><out>");
            System.exit(2);
        }

        Job job =new Job(conf, "ex1");//设置一个用户定义的job名称
        job.setJarByClass(ex1.class);
        job.setMapperClass(TokenizerMapper.class);//为job设置Mapper类
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setReducerClass(IntSumReducer.class);    //为job设置Reducer类
        job.setOutputKeyClass(Text.class);        //为job的输出数据设置Key类
        job.setOutputValueClass(Text.class);
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));    //为job设置输入路径
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));//为job设置输出路径
        System.exit(job.waitForCompletion(true) ?0 : 1);        //运行job
    }
}
(二)、计算股票的资本损益

统计买卖的每个股票收益。（将每个股票的名称作为key值，当操作为Buy时，value记为负的价格，当操作为Sell时，value记为正的价格，以这个key和value作为map阶段输出，reduce阶段的输入）

(1)编写MapReduce代码
(2)编译并打包项目
(3)使用hadoop jar命令运行程序
(4)到控制台查看输出文件结果

输入如下
Leetcode Buy 1000
Corona Buy 10
Leetcode Sell 9000
Handbags Buy 30000
Corona Sell 1010
Corona Buy 1000
Corona Sell 500
Corona Buy 1000
Handbags Sell 7000
Corona Sell 10000

输出如下
Corona 9500
Handbags -23000
Leetcode 8000

基本步骤同上
程序代码：
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class ex2 {
    public static class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
        private Text word =new Text();
        public void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException {
            String[] itr = value.toString().split(" ");
            word.set(itr[0]);
            if(itr[1].equals("Buy")){
                context.write(word,new IntWritable(-1*Integer.parseInt(itr[2])));
            }
            else{
                context.write(word,new IntWritable(Integer.parseInt(itr[2])));
            }
        }
    }

    public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
        private IntWritable result =new IntWritable();
        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum =0;
            for (IntWritable val:values){
                sum += val.get();
            }
            result.set(sum);
            context.write(key,result);
        }
    }
    public static void main(String[] args) throws Exception {

        Configuration conf =new Configuration();
        conf.set("fs.defaultFS","hdfs://localhost:9000");
        String[] otherArgs =new String[]{"input","output"};
        if (otherArgs.length !=2){
            System.err.println("Usage:Stocks<in><out>");
            System.exit(2);
        }

        Job job =new Job(conf, "ex2");//设置一个用户定义的job名称
        job.setJarByClass(ex2.class);
        job.setMapperClass(ex2.TokenizerMapper.class);//为job设置Mapper类
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setReducerClass(ex2.IntSumReducer.class);    //为job设置Reducer类
        job.setOutputKeyClass(Text.class);        //为job的输出数据设置Key类
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));    //为job设置输入路径
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));//为job设置输出路径
        System.exit(job.waitForCompletion(true) ?0 : 1);        //运行job
    }
}
运行结果：

在这里插入图片描述

(三)、求互相关注的用户

统计买卖的每个股票收益。（将每个股票的名称作为key值，当操作为Buy时，value记为负的价格，当操作为Sell时，value记为正的价格，以这个key和value作为map阶段输出，reduce阶段的输入）

(1)编写MapReduce代码
(2)编译并打包项目
(3)使用hadoop jar命令运行程序
(4)到控制台查看输出文件结果

输入数据格式如下
A<B,C,D,F,E,O
B<A,C,E,K
C<F,A,D,I
D<A,E,F,L
E<B,C,D,M,L
F<A,B,C,D,E,O,M
G<A,C,D,E,F
H<A,C,D,E,O
I<A,O
J<B,O
K<A,C,D
L<D,E,F
M<E,F,G
O<A,H,I,J,K

例如第一行表示用户B,C,D,F,E,O关注了A，现在要求找出互相关注的所用用户对，输出不能重复（输出了A<->B就不能输出B<->A），输出格式如下：
A<->B
A<->C
A<->D
A<->F
A<->O
B<->E
C<->F
D<->E
D<->F
D<->L
E<->L
E<->M
F<->M
H<->O
I<->O
J<->O

基本步骤同上
程序代码：
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class ex3 {
    private static class TokenizerMapper
            extends Mapper<LongWritable, Text, Text, IntWritable>{
        @Override
        protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text,IntWritable>.Context context) throws IOException, InterruptedException {
            String[] itrs = value.toString().split("<");
            char p = itrs[0].charAt(0);
            for (String str : itrs[1].split(",")) {
                char f = str.charAt(0);
                String each = "";
                if (p > f)
                    each += f + "<->" + p;
                else
                    each += p + "<->" + f;
                context.write(new Text(each), new IntWritable(1));
            }
        }
    }

    private static class IntSumReducer
            extends Reducer<Text, IntWritable, Text, Text>{
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, Text>.Context context) throws IOException, InterruptedException {
            int num = 0;
            for (IntWritable it : values) num++;
            if(num == 2)
                context.write(key, new Text(""));
        }
    }

    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        Configuration conf =new Configuration();
        conf.set("fs.defaultFS","hdfs://localhost:9000");
        String[] otherArgs=new String[]{"input","output"};
        if (otherArgs.length!=2){
            System.err.println("Usage:err<in><out>");
            System.exit(2);
        }

        Job job =new Job(conf, "ex3");//设置一个用户定义的job名称
        job.setJarByClass(ex3.class);
        job.setMapperClass(TokenizerMapper.class);//为job设置Mapper类
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setReducerClass(IntSumReducer.class);    //为job设置Reducer类
        job.setOutputKeyClass(Text.class);        //为job的输出数据设置Key类
        job.setOutputValueClass(Text.class);
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));    //为job设置输入路径
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));//为job设置输出路径
        System.exit(job.waitForCompletion(true) ?0 : 1);

    }

}
运行结果：

在这里插入图片描述

一戴宗师
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据实验5实验报告：MapReduce 初级编程实践
06-20
林子雨大数据原理与技术第三版实验5实验报告 大数据技术与原理实验报告 MapReduce 初级编程实践 姓名: 实验环境：  操作系统：Linux（建议Ubuntu16.04）；  Hadoop版本：3.2.2； 实验内容与完成情况： （一）编程实现文件合并和去重操作 对于两个输入文件，即文件 A 和文件 B，请编写 MapReduce 程序，对两个文件进行合并， 并剔除其中重复的内容，得到一个新的输出文件 C。下面是输入文件和输出文件的一个样例 供参考。 输入文件 A 的样例如下：
大数据技术原理及应用课实验5 :MapReduce初级编程实践
weixin_60530224的博客
01-20 1491
1. 通过实验掌握基本的MapReduce编程方法； 2. 掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。 二、实验平台 1. 操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04） 2. Hadoop版本：3.1.3 三、实验步骤（每个步骤下均需有运行截图） （一）编程实现文件合并和去重操作 对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件
云计算技术 实验七 MapReduce编程基础
m0_53227534的博客
12-21 1946
master通知分配了Reduce作业的worker它负责的分区在什么位置（肯定不止一个地方，每个Map作业产生的中间键值对都可能映射到所有R个不同分区），当Reduce worker把所有它负责的中间键值对都读过来后，先对它们进行排序，使得相同键的键值对聚集在一起。reduce worker遍历排序后的中间键值对，对于每个唯一的键，都将键与关联的值传递给reduce函数，reduce函数产生的输出会添加到这个分区的输出文件中。注意，这里的名字不能使用单个字符，不然会报错！，所以后面改成了多个字符。
实验二 MapReduce编程入门及实战
葫芦娃的博客
11-14 1109
实验二 MapReduce编程入门及实战前言第1节 项目概述1.1 项目介绍第2节 项目任务2.1 MapReduce开发环境搭建2.1.1实验准备2.1.2实验步骤2.2 MapReduce原理2.2.1实验准备2.2.2实验步骤2.3 校园社区网站访问次数统计《1》准备样例数据：《2》代码：《3》输出结果：2.4 校园社区网站访问次数排序《1》准备样例数据：《2》代码：《3》输出结果:第3节 拓展任务3.1 获取成绩表的最高分记录《1》准备样例数据：《2》代码：《3》输出结果：3.2 对两个文件中的数.
MapReduce初级例程
08-24
一些MapReduce的入门程序 来自《hadoop权威指南》《hadoop in action》
MapReduce入门编程及源码详解
qq_46439199的博客
11-16 1836
MapReduce基础编程（源码篇）
实验三 MapReduce实践
L2489754250的博客
04-17 3029
参考链接操作步骤参考链接，来自我们老师PPT，我只是写自己的操作过程。
云计算与大数据入门实验四 —— MapReduce 初级编程实践
ppqppl的博客
04-28 2726
云计算与大数据入门实验四 —— MapReduce 初级编程实践 实验目的 通过实验掌握基本的 MapReduce 编程方法 掌握用 MapReduce 解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等 实验内容 (一)编程实现文件合并和去重操作 对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出...
开发MapReduce程序 实验1
magina507的博客
05-30 3560
《用MapReduce处理数据》的章节实验《开发MapReduce程序》
【小白视角】大数据基础实践(五) MapReduce编程基础操作
面向生活编程
06-23 4659
目录1. MapReduce 简介1.1 起源1.2 模型简介1.3 MRv1体系结构1.4 YARN1.4.1 YARN体系结构1.4.2 YARN工作流程2. MapReduce 工作流程3. Java Api要点4. 实验过程最后 1. MapReduce 简介 1.1 起源 在函数式语言里，map表示对一个列表（List）中的每个元素做计算，reduce表示对一个列表中的每个元素做迭代计算。 它们具体的计算是通过传入的函数来实现的，map和reduce提供的是计算的框架。 在MapReduce
Hadoop原理与技术MapReduce实验
05-24
一、实验目的 （1）熟悉Hadoop开发包 （2）编写MepReduce程序 （3）调试和运行MepReduce程序 （4）完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1.单词计数实验(wordcount) （1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）打开网站localhost:8088和localhost:50070，查看MapReduce任务启动情况 （3）写wordcount代码并把代码生成jar包 （4）运行命令 （1）：把linus下的文件放到hdfs上 （2）：运行MapReduce （5）：查看运行结果 （6）网页上查看MapReduce任务 2.矩阵相乘实验(matrix) （1）写matrix代码并把代码生成jar包 （2）运行命令 （1）：把linus下的文件放到hdfs上 （2）：运行MapReduce （3）：查看运行结果 3.网页排名实验(pagerank) （1）：写pagerank代码并把代码生成jar包
大数据技术原理与应用-实验5MapReduce初级编程实践（林子雨）
最新发布
04-14
大数据分析
Mapreduce-实践
04-16
（实践一）数值概要中combiner的作用 在前述数值概要的运用中，加入不同的combiner，测试不同环境下系统的性能，并给出分析、说明。 检查在内存优化模式下系统性能的区别。 （实践二）计算器计数 模式描述、计数器结构及性能分析。 示例：计算每个州的用户数 （实践三）MapReduce 布隆过滤器 过滤器训练、过滤器应用、结果验证及分析 （实践四）MapReduce Top 10模式示例 在ctrip数据集上进行Top 10排序。 （实践五）去重的用户—针对ctrip数据集去重 对ctrip数据集中的product-id进行去重操作
大数据实验四-MapReduce编程实践
04-03
一．实验内容 MapReduce编程实践： 使用MapReduce实现多个文本文件中WordCount词频统计功能，实验编写Map处理逻辑、编写Reduce处理逻辑、编写main方法。 二．实验目的 1、通过实验掌握基本的MapReduce编程方法。 2、实现统计HDFS系统中多个文本文件中的单词出现频率。 三．实验过程截图及说明 1、在本地创建多个文本文件并上传到Hadoop： （1）创建本地存放文件的文件夹： （2）使用vim命令向文件里添加内容： （3）在Hadoop里创建存放文件的目录： （4）将本地的3个文件上传到Hadoop上： 2、编写java代码来操作读取文件并统计： （1）启动idea： （2）目录结构： （3）编写log4j.properties文件： （4）引入需要用到的依赖： 。。。。。。
Mapreduce实验报告.doc
03-10
Mapreduce实验报告 前言和简介 MapReduce是Google提出的一种编程模型，在这个模型的支持下可以实现大规模并行化计 算。在Mapreduce框架下一个计算机群通过统一的任务调度将一个巨型任务分成许多部分 ，分别解决然后...
大数据从入门到实战 - MapReduce基础实战
qq_61604164的博客
07-27 3086
成绩登记
Mapreduce实验报告
weixin_44332487的博客
05-26 6658
实验目的： MapReduce原理及操作 1、MapReduce原理 Ma和 Reduce，当向 MapReduce框架提交一个计算作业时,它会首先把计算作业拆分成若干个Map任务,然后分配到不同的节点上去执行,每一个MaD任务处理输入数据中的一部分,当Ma0任务完成后,它会生成一些中间文件,这些中间文件将会作为 Reduce任务的输入数据。 Reduce任务的主要目标就是把前面干个Ma的输出汇到...
Hadoop-MapReduce原理及操作（小实验）
qq_28840013的博客
03-30 2051
本篇博客原理部分摘取自视频http://yun.itheima.com/course/301.html 实验部分教程来自https://www.shiyanlou.com/courses/237 （如果有不理解的可以直接查看上面的链接，另外说一下，该博客只能帮助你理解mapreduce的原理，如果你接触过相关开发的话，本博客可能并不能给你带来帮助。） MapReduce思想 MapReduce思想...
Mapreduce初级编程实践
05-22
MapReduce是一种分布式计算模型，可以在大规模数据集上并行处理数据。在编程实践方面，MapReduce的编程模型需要将数据处理任务分解为两个阶段：Map阶段和Reduce阶段。Map阶段处理输入数据并生成中间结果，Reduce阶段将这些中间结果进行合并和汇总。以下是MapReduce初级编程实践的基本步骤： 1. 编写Map函数：Map函数接收一组键值对作为输入，将输入数据转换为另一组键值对。Map函数的输入和输出类型必须与MapReduce作业的输入和输出类型相匹配。 2. 编写Reduce函数：Reduce函数接收一组键值对作为输入，将相同键的值进行合并和汇总。Reduce函数的输入和输出类型必须与MapReduce作业的输入和输出类型相匹配。 3. 配置MapReduce作业：需要设置MapReduce作业的输入和输出路径、Map和Reduce函数的类名、输入和输出键值对类型等参数。 4. 运行MapReduce作业：将配置好的MapReduce作业提交到Hadoop集群上运行，可以使用命令行工具或者编程API来提交作业。 5. 查看作业执行结果：可以查看作业的执行日志和输出结果，检查作业是否成功执行。 以上是MapReduce初级编程实践的基本步骤，需要具备一定的Java编程基础和Hadoop集群使用经验。可以通过练习一些实际的MapReduce编程案例来深入理解和掌握MapReduce编程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值