实验四：MapReduce中级实验

最新推荐文章于 2024-01-20 20:30:00 发布
最新推荐文章于 2024-01-20 20:30:00 发布
阅读量1k 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kuicer/article/details/121040567
版权

hadoop mapreduce hdfs

一、实验目的

  • 通过实验掌握基本的MapReduce编程方法；
  • 掌握用MapReduce解决一些常见的数据处理问题，包括数据去重计数、数据排序。

二、实验平台

  • 操作系统：Linux
  • Hadoop版本：2.6.0

三、实验步骤

（一）对访问同一个网站的用户去重计数。

注：文件userurl_20150911中，数据以”\t”隔开，用户手机号为第三列，网站主域为第17列

这个是记录用户访问了一个网站多少次。。。

将用户手机号同用户访问网站两个属性合在一起作为 key 值，其余和 wordcount 差不多，改改即可，不再赘述

import com.amazonaws.services.dynamodbv2.xspec.S;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.HashMap;

public class mr {
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String str = value.toString();
            if (str != null && !str.equals("")) {
                String[] fa = str.split("\t");
                String per = fa[2], web = fa[16];
                context.write(new Text(per+'\t'+web),new IntWritable(1));
            }
        }
    }

    public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {
        public static HashMap<String, Integer> mp;
        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum=0;
            for(IntWritable t:values)
                sum++;
            context.write(key,new IntWritable(sum));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fs = FileSystem.get(conf);

        Job job = Job.getInstance(conf, "merge and duplicate removal");
        job.setJarByClass(mr.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setReducerClass(Reduce.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        job.setInputFormatClass(TextInputFormat.class);

        FileInputFormat.addInputPath(job, new Path("hdfs://localhost:9000/input4/userurl_20150911"));
        FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/output4"));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

在这里插入图片描述

正解：先将网站同用户一起作为主键map后，在reduce拆分获取用户访问网站去重后的数据，再次编写另一个程序进行计数即可

import com.amazonaws.services.dynamodbv2.xspec.S;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.HashMap;

public class mr {
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String str = value.toString();
            if (str != null && !str.equals("")) {
                String[] fa = str.split("\t");
                String per = fa[2], web = fa[16];
                context.write(new Text(per+'\t'+web),new IntWritable(1));
            }
        }
    }

    public static class Reduce extends Reducer<Text, IntWritable, Text, Text> {
        public static HashMap<String, Integer> mp;
        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            String[] tmp = key.toString().split("\t");
            String per = tmp[0], web = tmp[1];
            // 此处主要存在有用户多次访问同一网站，需要再执行一边mapreduce
            context.write(new Text(per+'\t'+web),new Text(""));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fs = FileSystem.get(conf);

        Job job = Job.getInstance(conf, "merge and duplicate removal");
        job.setJarByClass(mr.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setReducerClass(Reduce.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        job.setInputFormatClass(TextInputFormat.class);

        FileInputFormat.addInputPath(job, new Path("hdfs://localhost:9000/input4/userurl_20150911"));
        FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/output4"));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

在这里插入图片描述
接着第二道程序，这里就和wordcount一样了

import com.amazonaws.services.dynamodbv2.xspec.S;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.HashMap;

public class mr {
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String str = value.toString();
            if (str != null && !str.equals("")) {
                String[] fa = str.split("\t");
                String web = fa[1];
                context.write(new Text(web), new IntWritable(1));
            }
        }
    }

    public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {
        public static HashMap<String, Integer> mp;

        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable t : values) sum += t.get();
            context.write(key, new IntWritable(sum));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fs = FileSystem.get(conf);

        Job job = Job.getInstance(conf, "merge and duplicate removal");
        job.setJarByClass(mr.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setReducerClass(Reduce.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        job.setInputFormatClass(TextInputFormat.class);

        FileInputFormat.addInputPath(job, new Path("hdfs://localhost:9000/output4/part-r-00000"));
        FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/output4/outnext"));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

在这里插入图片描述

（二）对同一个用户不同记录产生的上下行流量求和后进行排序输出。

注：上行流量位于第25列，下行流量位于第26列

此处认为同一个用户不同记录为：同一用户访问的同一个网站的一条记录

import com.amazonaws.services.dynamodbv2.xspec.S;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.io.IntWritable.Comparator;

import org.apache.hadoop.io.WritableComparable;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.HashMap;

public class mr {

    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String str = value.toString();
            if (str != null && !str.equals("")) {
                String[] fa = str.split("\t");
                String per = fa[2], web = fa[16], up = fa[24], down = fa[25];
                int use = Integer.parseInt(up) + Integer.parseInt(down);
                context.write(new Text(per + '\t' + web), new IntWritable(use));
            }
        }
    }

    public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {

        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable t : values) {
                sum = t.get();
                context.write(key, new IntWritable(sum));
            }
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        FileSystem fs = FileSystem.get(conf);

        Job job = Job.getInstance(conf, "merge and duplicate removal");
        job.setJarByClass(mr.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setReducerClass(Reduce.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        job.setInputFormatClass(TextInputFormat.class);
        FileInputFormat.addInputPath(job, new Path("hdfs://localhost:9000/input4/userurl_20150911"));
        FileOutputFormat.setOutputPath(job, new Path("hdfs://localhost:9000/output5"));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

在这里插入图片描述

四、实验总结及问题

  1. 学会使用什么做什么事情

MapReduce 模式设计，深入掌握 MapReduce 编程设计。

  1. 实验过程中遇到了什么问题？是如何解决的？

暂无

  1. 还有什么问题尚未解决？可能是什么原因导致的。

关于 Map 函数与 Reduce 函数之间数据传输，想通过自行创建一种数据类进行数据传输尚未成功。

⑨充满智慧与力量⑨
关注
专栏目录
MapReduce计数器实验
Today_2018的博客
06-13 504
一、实验目的 通过实验掌握基本的MapReduce编程方法； 掌握用MapReduce解决一些常见的数据处理问题，编写计数器程序。 二、实验平台 操作系统：Linux（建议CentOS6.5）； Hadoop版本：2.9.2； JDK版本：1.8或以上版本； Java IDE：Eclipse； 三、实验要求 能够理解MapReduce编程思想，然后会编写MapReduce版本计数器程序，并能执行该程序和分析执行过程。 四、实验背景 1、MapReduce计数器是什么？ 计数器
实验四：MapReduce中级实践
Bernard's
10-31 875
实验四：MapReduce中级实践 姓名 学号 江新宇 201926701070 一、实验目的 通过实验掌握基本的MapReduce编程方法 掌握用MapReduce解决一些常见的数据处理问题，包括数据去重计数、数据排序 二、实验平台 操作系统：KUbuntu 20.04 focal JDK：openjdk version “16.0.1” Hadoop：3.2.2 三、实验步骤 对访问同一网站的用户去重计数 Unique package Unique; import java
Mapreduce-实验
04-16
实验（一）数值概要—中位数与标准差 检查实验环境、运行示例程序。 利用数据概要完成中位数与标准差计算。 数据集可以采用Ctrip数据集，计算内容可自定义。 实验（二）：MapReduce计数器实验 在给定数据集上完成计数实验，可以用ctrip数据集或50w数据集。 实验（三）：MapReduce布隆过滤器的舆情过滤 按指定的热点词列表训练布隆过滤器，对舆情数据集进行过滤，过滤后的数据写入HDFS。 实验（四）StackOverflow数据集的分层操作 构建StackOverflow数据集中问题与回复的分层结构，将贴子与回复关联起来。 实验（五）： Reduce端连接 用利ctrip数据集，将product_info 与quantity数据集进行连接操作，连接的字段为product_id。
MapReduce课程实验
LBWnb5的博客
04-21 2093
创建一个文件"words.txt",上传到hdfs 代码: public class CreateFile { public static void main(String[] args) throws Exception { //设置一个配置 服务器所在 信息 Configuration conf = new Configuration(); // linux 上的 hdfs 访问 地址 conf.set("fs.defaultFS", "hdfs://master:8020");
大数据技术原理及应用课实验5 :MapReduce初级编程实践
最新发布
weixin_60530224的博客
01-20 4099
1. 通过实验掌握基本的MapReduce编程方法； 2. 掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。 二、实验平台 1. 操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04） 2. Hadoop版本：3.1.3 三、实验步骤（每个步骤下均需有运行截图） （一）编程实现文件合并和去重操作 对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件
【智能大数据分析】实验1 MapReduce实验：单词计数
北天的博客
10-25 3554
【智能大数据分析】实验1 MapReduce实验：单词计数
大数据分析与应用(中级)—实验手册文档及附件资源-1.rar
05-29
《大数据分析与应用》实验手册文档及附件资源的压缩包，是针对中级学习者设计的一套实践教程。这个资源包包含源码文件，旨在帮助读者深入理解和掌握大数据处理的关键技术和应用。以下将从多个方面详细阐述这个主题：...
实验八 项目案例-电商数据分析
36.6°博客
12-04 8782
电商大数据离线计算第1关：统计用户流失情况任务描述相关知识数据文件格式说明用户流失情况编程要求测试说明代码实现第2关：统计所有商品点击量排行任务描述相关知识数据文件格式说明商品点击量排行cleanup()方法编程要求测试说明代码实现第3关：统计各个商品类别中点击量最高的商品任务描述相关知识数据文件格式说明编程要求代码实现第4关：统计五种商品类别占比任务描述相关知识数据文件格式说明商品类别占比cleanup()方法编程要求测试说明代码实现第5关：统计各类商品种类的购买次数任务描述相关知识数据文件格式说明编程要
实验指导手册.rar
12-06
《“1+X”大数据平台运维职业技能等级证书实验指导手册（中级）》是针对大数据运维领域的一本专业指导书籍，旨在帮助学习者掌握中级水平的大数据平台运维技能。该手册可能包含了理论知识与实践操作的结合，以提升...
hadoop中级hadoop中级
qq_44869288的博客
06-03 585
1. Linux 中默认情况下管理员创建了一个用户，将在/home 目录下创建这个用 户主目录。 2. Linux 中列出一个目录下的所有文件使用的命令是 ls -a 3. NoSQL 数据库典型产品有 HBase、MongoDB、Redis 等 4.HBase 的特点有高可靠性、高性能、面向列、可伸缩 5.编译 JavaApplication 源程序文件将产生相应的字节码文件，这些字节码文件 的扩展名为.class 6.设 x=1,y=2,z=3，则表达式 y＋＝z－－/＋＋x
Hadoop原理与技术MapReduce实验
05-24
一、实验目的 （1）熟悉Hadoop开发包 （2）编写MepReduce程序 （3）调试和运行MepReduce程序 （4）完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1.单词计数实验(wordcount) （1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）打开网站localhost:8088和localhost:50070，查看MapReduce任务启动情况 （3）写wordcount代码并把代码生成jar包 （4）运行命令 （1）：把linus下的文件放到hdfs上 （2）：运行MapReduce （5）：查看运行结果 （6）网页上查看MapReduce任务 2.矩阵相乘实验(matrix) （1）写matrix代码并把代码生成jar包 （2）运行命令 （1）：把linus下的文件放到hdfs上 （2）：运行MapReduce （3）：查看运行结果 3.网页排名实验(pagerank) （1）：写pagerank代码并把代码生成jar包
Hadoop入门之MapReduce实训源数据下载
07-17
Hadoop入门之MapReduce实训源数据下载，原文网址：https://blog.csdn.net/vpqtxzmzezeqjj9977/article/details/81088950
大数据实验5实验报告：MapReduce 初级编程实践
06-20
林子雨大数据原理与技术第三版实验5实验报告 大数据技术与原理实验报告 MapReduce 初级编程实践 姓名: 实验环境：  操作系统：Linux（建议Ubuntu16.04）；  Hadoop版本：3.2.2； 实验内容与完成情况： （一）编程实现文件合并和去重操作 对于两个输入文件，即文件 A 和文件 B，请编写 MapReduce 程序，对两个文件进行合并， 并剔除其中重复的内容，得到一个新的输出文件 C。下面是输入文件和输出文件的一个样例 供参考。 输入文件 A 的样例如下：
MapReduce初级例程
08-24
一些MapReduce的入门程序 来自《hadoop权威指南》《hadoop in action》
java大数据作业_5Mapreduce、数据挖掘
01-24
课后作业 1.请找出日志中的访问者ip，访问时间，来源地址，访问 地址 日志内容如下： 192.168.170.111—[20/Jan/2014:16:35:27 +0800] “GET /examples/servlets/images/code.gif HTTP/1.1” 200 292 “http://192.168.170.152/examples/servlets/” “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36” “-” 2.使用代码简述迭代式、组合式的job执行方法 3.HBASE的Map、Reduce继承类和序列化类是什么 4.简述容量调度的配置方法 5.简述mapreduce流程 6.简述二次排序算法 有输入数据如下所示： 1 2 2 3 2 1 4 6 3 1 3 8 3 2 需要使用二次排序算法，得到如下处理结果： 1 2 2 1 2 3 3 1 3 2 3 8 4 6 请简述处理过程
实验1：MapReduce课程实验
Abandon145的博客
04-18 1909
1.使用Tool工具类实现Mapreduce ：WordCountTool方法 package mapreduce; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileStatus; import org.apache.ha
Mapreduce-实验、实践
weixin_43846708的博客
04-16 2482
Mapreduce-实验、实践实验实验（一）数值概要—中位数与标准差实验（二）：MapReduce计数器实验实验（三）：MapReduce布隆过滤器的舆情过滤实验（四）StackOverflow数据集的分层操作实验（五）： Reduce端连接实践（实践一）数值概要中combiner的作用（实践二）计算器计数（实践三）MapReduce 布隆过滤器（实践四）MapReduce Top 10模式示例（实践五）去重的用户—针对ctrip数据集去重 实验 实验（一）数值概要—中位数与标准差 检查实验环境、运行示例程
6.824 实验一 —— MapReduce
Ziyang的博客
01-21 3377
前言 实验一是要实现一个 MapReduce 系统，基本就是两个部分：实现 master 程序和实现 worker 程序。这个实验基本就是劝退怪了，一来是对 golang 的 rpc 和并发的使用要比较熟悉，二来就是要对 MapReduce 的整个流程机制要比较熟悉。其实有一个小秘诀，就是拼命看论文中的这张图，再拼命看下面的流程讲解： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VHTM6O4z-1642697405642)(https://tva1.sinaimg.cn/
实验三-MapReduce编程
weixin_51942429的博客
11-09 3830
大数据技术原理与应用-实验三-MapReduce编程 这里包括了实验步骤以及实验过程中遇到的问题及解决方法~ 实验要求：基于MapReduce执行“词频统计”任务。将提供的A，B，C文件上传到HDFS上，之后编写MapReduce代码并将其部署到hadoop，实现文件A，B，C中的词频统计。对实验过程进行详细阐述。
实验2:mapreduce
05-14
在实验2:MapReduce中，我们主要学习了MapReduce的工作原理和使用方法。通过使用Java编写MapReduce程序，我们学习了如何将数据拆分为多个数据块，如何在不同的节点上并行处理数据块并生成中间结果，如何对中间结果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值