实验一mapreduce编程运用1

已于 2024-04-21 12:35:29 修改
阅读量575 收藏 19
点赞数 28
分类专栏： 大数据/mapreduce 文章标签： mapreduce 大数据
于 2024-04-21 11:58:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_65099052/article/details/138029485
版权

title: 实验一mapreduce编程运用1
date: 2023-10-10 13:35:49
categories:

  • mapreduce
    tags:

目录

环境介绍

  • Linux: Ubuntu 16.04 LTS
  • hadoop2.7

. 前提准备工作

  1. 开始

    1.1 准备数据集

    • YoutubeDataSets.txt 把数据集放在/usr/local/hadoop/mydata路径下，如果是放在Downlocads目录下可以使用终端命令
    ```bash

    hadoop@ubuntu:~$ mv /home/hadoop/Downloads/YoutubeDataSets.txt /usr/local/hadoop/mydata/

    1.2 准备好java环境

- 创建项目：可以按照教程：https://dblab.xmu.edu.cn/blog/2460/
   
> **注意：** 一定要导入的jar包有：
  
  - 1.“/usr/local/hadoop/share/hadoop/common”目录下的所有JAR包，包括hadoop-common-3.1.3.jar、hadoop-common-3.1.3-tests.jar、haoop-nfs-3.1.3.jar和haoop-kms-3.1.3.jar，注意，不包括目录jdiff、lib、sources和webapps；

  - 2.“/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包；

  - 3.“/usr/local/hadoop/share/hadoop/hdfs”目录下的所有JAR包，注意，不包括目录jdiff、lib、sources和webapps；

  - 4.“/usr/local/hadoop/share/hadoop/hdfs/lib”目录下的所有JAR包；

  - 5.“/usr/local/hadoop/share/hadoop/yarn”目录下的所有JAR包,注意，不包括目录lib、sources和test；

 - 6.“/usr/local/hadoop/share/hadoop/yarn/lib”目录下的所有JAR包;

 - 7.“/usr/local/hadoop/share/hadoop/mapreduce”目录下的所有JAR包，注意，不包括目录lib、lib-example和sources；

 - 8.“/usr/local/hadoop/share/hadoop/mapreduce/lib”目录下的所有JAR包。

  
1.3 启动hadoop，清理以前input和output里面的文件（可选，因为你可以指定hdfs其他目录）
```bash
(base) hadoop@ubuntu:~$ cd /usr/local/hadoop

    (base) hadoop@ubuntu:/usr/local/hadoop$ ./sbin/start-dfs.sh

    (base) hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -rm -r input

    (base) hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -rm -r output

解决问题

注意： 开始解决问题

  1. 解决第一道题目，得出youtube每一个up主的id次数，并且按照降序排序
    1.1 导入代码如图：

1.2 分别运行代码：TopListProcess.java,ToListSort.java,得到class文件，然后导出成jar包到/usr/local/hadoop/myapp/路劲下，如图

1.3 运行：

  • 导入数据集到hdfs里面的input目录下

    (base) hadoop@ubuntu:/usr/local/hadoop$ ./bin/hdfs dfs -put ./mydata/YoutubeDataSets.txt input

  • 运行TolistProcess.jar包

注意： input和output是指定的输入输出目录
bash (base) hadoop@ubuntu:/usr/local/hadoop$ ./bin/hadoop jar ./myapp/TolistProcess.jar input output
运行如图：


- 运行ToplistSort.jar包

注意： output和output2是指定的输入输出目录
bash (base) hadoop@ubuntu:/usr/local/hadoop$ ./bin/hadoop jar ./myapp/ToplistSort.jar output output2
运行如图：

  1. 解决实训4-1题目1

    2-1. 题目

    • 在 Mapper 类中，map 函数读取成绩表A 中的数据，直接将读取的数据以空格(参考书籍配套资源中的格式)
      分隔，组成键值对<科目，成绩>，即设置输出键值对类型为<Text,INtWritable> (2)在 Reducer 中，由于 map 函数输出键值对类型是<Text,IntWritable>,所以 Reducer接收的键值对是<Text，Iterable>针对相同的键(即科目)遍历比较他的值（即成绩），找出最高值（最高成绩），最后输出键值对<科目,最高成绩>。

    2-2. 数据处理

    注意： 这一步一定要做

    • 把数据集格式改成utf-8(如果虚拟机用ANSI可以就不用改)
    • 不改后面运行可能出现报错哦

    2-3. 解决

    • 使用eclipse控制台指定输入输出目录
    • 操作
      1. 创建包tonji
      2. 创建类ScoreAnalyzer
    • 代码（直接指定目录输入输出）：
    > **注意：** 输出路劲不能创建好，否则会报错

    package tonji;

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class ScoreAnalyzer {
public static class ScoreMapper extends Mapper<Object, Text, Text, IntWritable> {
private Text subject = new Text();
private IntWritable score = new IntWritable();

public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
  // 按空格分隔成绩数据，前一部分为科目，后一部分为成绩
  String[] parts = value.toString().split(" ");
  if (parts.length == 2) {
    subject.set(parts[0]);
    score.set(Integer.parseInt(parts[1]));
    context.write(subject, score);
  }
}

}
public static class ScoreReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
private IntWritable result = new IntWritable();

public void reduce(Text key, Iterable<IntWritable> values, Context context)
    throws IOException, InterruptedException {
  int maxScore = Integer.MIN_VALUE;
  for (IntWritable val : values) {
    maxScore = Math.max(maxScore, val.get());
  }
  result.set(maxScore);
  context.write(key, result);
}

}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.set(“fs.defaultFS”,“hdfs://localhost:9000”);
String[] args1 = new String[] { “input”, “outputscore” }; /* 直接设置输入参数 input是输入路劲，outputscore是输出路劲*/

Job job = Job.getInstance(conf, "Score Analyzer");
job.setJarByClass(ScoreAnalyzer.class);
job.setMapperClass(ScoreMapper.class);
job.setReducerClass(ScoreReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args1[0]));
FileOutputFormat.setOutputPath(job, new Path(args1[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);

}
}


- 代码解释 

 Mapper类（ScoreMapper）：
   ScoreMapper 是MapReduce作业的Mapper阶段的自定义类。它继承了Mapper类，用于处理输入数据，并将其映射为键值对。map 
   方法是Mapper类中的主要方法。它负责将输入数据行解析为键值对，其中键是科目（Text类型），
   值是成绩（IntWritable类型）。每行输入数据都会被拆分为两部分，使用空格分隔。
   第一部分是科目，第二部分是成绩。这些数据将被映射为键值对，并传递给Reducer阶段。

 Reducer类（ScoreReducer）：
   ScoreReducer 是MapReduce作业的Reducer阶段的自定义类。它继承了Reducer类，用于对Mapper阶段输出的键值对
   进行汇总和处理。 reduce 方法是Reducer类中的主要方法。它接收一组具有相同键（科目）的键值对，
   这些键值对来自Mapper阶段的输出。 在reduce 方法中，它迭代所有成绩值，找到最高成绩，并将最高成绩与相应的科目一起写出。

 main方法：
   main 方法是整个MapReduce作业的入口点。它配置作业，设置输入和输出路径，并启动作业的执行。
   作业配置包括指定Mapper和Reducer类，以及设置键和值的数据类型。
   输入路径和输出路径通过命令行参数传递给作业。
   
   总结：这段代码的主要目标是将成绩数据进行分析，找到每个科目的最高成绩，并将结果写入到输出文件中。这是一个典       型的MapReduce任务，其中Mapper阶段负责数据解析和映射，而Reducer阶段负责聚合和计算。最终的结果是每个科目的最高成绩。
2-3.运行截图
<img class="fit-picture"
  src="https://preview.cloud.189.cn/image/imageAction?param=90D8FA25F260AE5EBDFF0F08EEA6D95C976455E2262BD20513BAAB7160B4802E0722E9ABAA4CBAEAB1C07FB305DB441E8FD2AF8D916B51066E873C1F8307FF3971FD8FC2BC41EAB04945B10803150AA828DB92A02949319ADF6BE5A84291EF2D526A36AC5B796D5B25F390CC0B690ED7">
  
 <img class="fit-picture"
  src="https://preview.cloud.189.cn/image/imageAction?param=F542F798ED6A05E4F69F2FBEFE2DB656EDFC212BC1C7E8737B026704DE2DD24A99AD74C9DDB55432FE8749B2C0E0E5342CA201CCFBF4A211EB8737EBBAE4A3BB7258FF3C3FAE84EB743893CFE710CB64056691FC8ED4E168C80AF09E5BBA4B5379DB2A398308844FB84282A4E47116DE">
3. 解决实训4-1题目2

 3-1. 统计对应日期的访问次数
 3-2. 解决
  - 操作
     1. 创建包dataCount
     2. 导入给好的类dailyAccessCount.java和accessTimesSort.java
     3. 先运行，后一个一个导出到/usr/local/hadoop/myapp下accessCount.jar和accessTimesSort.jar
     4. 删除hdfs上的input和output目录，又创建回来，导入日期user_login.txt数据集到input目录下
     5. 根据下图执行代码，先count后sort,升序排序
  - 操作图：
<img class="fit-picture"
  src="https://preview.cloud.189.cn/image/imageAction?param=4CD7D050BAEC0E6B8D6BA70863A843B279F3F6C584F6B28FEEDD326B1EAF8E69B70DE090165B88D58376D709C197DF11115C3B173F37943992E02B96882EF6327BCBF15529CFBAEFE9E914332A41BD0CD445EBACAF6D87C1337E85CAD950EEA61233269091F7524372DB01C70B4CB1FD">
  <img class="fit-picture"
  src="https://preview.cloud.189.cn/image/imageAction?param=4A0D625FB9866626665C105EB41CFE3143B0D0205F7C1623A881DD02FD981EC33A9AD5D942C83F007CEE812B903A79B53CD5BAAFFBEB7E7A4F2DDC42834D09D95942C5C43E8C81E98621F7C83E1843372E5C0328AB208EB12000C0CBA7488509C146DA47CFCC409B5230B76B8BB98A86">
  
  <img class="fit-picture"
  src="https://preview.cloud.189.cn/image/imageAction?param=0BAE19AF83E3BA18AEF9BBC3E01CCC1AFCCE8321C6AEA3CC7B161D9594178C3B7AB24FB506ECE8E310F073315DD30DF0097F9F99F8591318EDDB4DBEEC998B890DB38F36551A3AE64D4E13617274C43F2466894BDBDCCE0AFD14D478BEF8AB558CF1B63205CAAC023ACF96A34BABFAD9">
  
   <img class="fit-picture"
  src="https://preview.cloud.189.cn/image/imageAction?param=4721CE8EA2BD0837C9E231E1FE992B51B3055A77241451CEE63D6877FF5B0811959EC5B660046CBD49F151989B9A34C3A39310B47FBD6B16CEFF87BC8BEE1ACE10BD520B94968B48E1938E042FDDD2DECBDF63889CEFBF9A6EFB4AD408DE4D8747DADAA35848D93B0373FF33A3C787D1">

<img class="fit-picture"
  src="https://preview.cloud.189.cn/image/imageAction?param=9D6141714E7221F42170DC6DC4D9A5B297FB4079EB7D5A43617C9914ED586D1736DF177ED5844285BA6F8EBAF0094435F5AC5AE02805F2ACC6C5FB1B29383B11B2496EFE14E907B6BF9052495144B5C457A89418A18E64E87885E5FFF862BF26512A99C9AF08338C8498D03E3E25ED56">
  
4. 解决实训4-1题目3

  4-1. 题目:合并两个文件相同的内容，XX与YY，可以参照林子雨老师的大数据基础编程后面实验五第一题
  4-2. 解决
   - 使用eclipse控制台指定输入输出目录
   - 操作
     1. 创建包hebing
     2. 创建类combine
   - 代码（直接指定目录输入输出）：
    > **注意：** 输出路劲不能创建好，否则会报错
   ```java
  package hebing;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class combine {
/**
* 对 A, B 两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件 C
*/
// 重载 map 函数，直接将输入中的 value 复制到输出数据的 key 上
public static class Map extends Mapper<Object, Text, Text, Text> {
 private static Text text = new Text();

 public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
   text = value;
   context.write(text, new Text(""));
 }
}
// 重载 reduce 函数，直接将输入中的 key 复制到输出数据的 key 上
public static class Reduce extends Reducer<Text, Text, Text, Text> {
 public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
   context.write(key, new Text(""));
 }
}
public static void main(String[] args) throws Exception {
 Configuration conf = new Configuration();
 conf.set("fs.defaultFS","hdfs://localhost:9000");
 String[] otherArgs = new String[] { "XXYY", "output" }; /* XXYY是输入路劲，output是输出路劲 */

 if (otherArgs.length != 2) {
   System.err.println("Usage: wordcount <in><out>");
   System.exit(2);
 }

 Job job = Job.getInstance(conf, "Merge and duplicate removal");
 job.setJarByClass(combine.class);
 job.setMapperClass(Map.class);
 job.setCombinerClass(Reduce.class);
 job.setReducerClass(Reduce.class);
 job.setOutputKeyClass(Text.class);
 job.setOutputValueClass(Text.class);

 FileInputFormat.addInputPath(job, new Path(otherArgs[0]));//输入路径
 FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));//输出路径

 System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}

4-3. 最终结果：

Elik-hb
关注
专栏目录
实验项目 MapReduce 编程
04-18
实验项目“MapReduce 编程”旨在让学生深入理解并熟练运用MapReduce编程模型，这是大数据处理领域中的核心技术之一。实验内容涵盖了从启动全分布模式的Hadoop集群到编写、运行和分析MapReduce应用程序的全过程。 ...
实验3-MapReduce编程初级实践.docx
07-19
本实验旨在让学习者掌握基本的MapReduce编程技巧，并能够运用这些技能解决常见的数据处理问题。具体目标如下： 1. **掌握MapReduce编程基础**：理解MapReduce的工作原理及其实现机制。 2. **解决实际问题**：通过...
Mapreduce-实践
04-16
（实践一）数值概要中combiner的作用 在前述数值概要的运用中，加入不同的combiner，测试不同环境下系统的性能，并给出分析、说明。 检查在内存优化模式下系统性能的区别。 （实践二）计算器计数 模式描述、计数器...
华科函数式编程原理实验.7z
06-11
这个实验将带你走进函数式编程的世界，通过实践，你会对这一编程范式的思维方式有更深入的理解，也能更好地运用函数式编程的工具和技巧解决实际问题。通过这个实验，你不仅能提升编程能力，还能培养出更严谨的逻辑...
Spark 编程基础（Scala 版）-机房上机实验指南
03-20
### Spark 编程基础（Scala 版）-机房上机实验指南 #### Spark简介 ...通过本书的学习，读者不仅能够了解Spark的工作原理，还能掌握使用Scala进行Spark编程的方法，并能够运用所学知识解决实际问题。
mit6824-01-MapReduce详解
FLJS_T的博客
09-29 922
在远程读取进程中，文件是否会传输到reducer？会。map函数产生的中间结果存放在执行map函数的worker机器的磁盘上，而之后解调器分配文件给reducer执行reduce函数时，中间结果数据需要通过网络传输到reducer机器上。这里其实很少有网络通信，因为一个worker在一台机器上，而每台机器同时运行着worker进程和GFS进程。
RabbitTemplate与AmqpTemplate：Spring AMQP中的消息传递模板
最新发布
qq_51321722的博客
10-05 501
是Spring AMQP框架的核心接口，它定义了一套标准的AMQP操作，如发送和接收消息、声明队列和交换机等。这个接口是对AMQP协议的抽象，提供了一种面向对象的方式来操作AMQP协议。它基于RabbitMQ的Java客户端库实现，使得开发者可以通过Spring框架的依赖注入和配置机制来简化与AMQP消息队列系统的交互。而则是Spring AMQP为RabbitMQ提供的一个高级消息操作模板。它实现了接口，并添加了一些针对RabbitMQ的特性和优化。不仅提供了与。
项目管理-信息技术发展
GAVIN
10-04 485
对称加密：DES 3DES AES RC5 IEDA SM1 SM4。2）分类：PAN LAN MAN WAN 公用网 专用网。4）数据结构模型 层次模型 网状模型 关系模型。1)存储 分类：DAS FAS NAS SAN。物联网（IoT） 感知层 网络层 应用层。8） 5G 高速率 低时延 大连接。设备安全 数据安全 内容安全 行为安全。4.信息安全 保密性 完整性 可用性。3）网络协议 语法 语义 时许。5）IEEE 802 规范。6）TCP/IP 协议。4）网络标准协议 7层。
netty之SpringBoot+Netty+Elasticsearch收集日志信息数据存储
CSDN_LiMingfly的博客
10-04 662
将大量的业务以及用户行为数据存储起来用于分析处理，但是由于数据量较大且需要具备可分析功能所以将数据存储到文件系统更为合理。尤其是一些互联网高并发级应用，往往数据库都采用分库分表设计，那么将这些分散的数据通过binlog汇总到一个统一的文件系统就显得非常有必要。#开发环境环境准备windows安装包 下载注意 es是以来java环境 所以需要安装jdk 支持1.7以上es-hander下载可视化操作插件@Id//姓名//年龄//级别//时间//电话//邮箱//地址。
【从0开始搭建微服务并进行部署】SpringBoot+dubbo+zookeeper
高朗的博客
09-29 1396
从0开始搭建微服务并进行部署：Springboot+dubbo+zookeeper
分布式共识算法ZAB
wendao76的专栏
10-02 663
ZAB协议是为分布式协调服务Zookeeper专门设计的一种支持崩溃恢复和原子广播的协议。基于该协议，Zookeeper实现了一种主备模式的系统架构来保持集群中各个副本之间数据一致性。Zookeeper集群中，只有Leader服务器接受写请求，即使是Follower服务器接受到客户端的请求，也会转发给Leader服务器进行处理。
Hive数仓操作（三）
m0_58076578的博客
09-29 8775
一、Hive 数据库操作 5. 显示数据库信息 二、Hive 创建内部表 Hive 表的类型 创建内部表的步骤 创建表的语法结构 三、Hive 内部表的其他操作 1. 向内部表中插入数据 2. 查询内部表 3. 删除内部表 4. 更新内部表 从 HDFS 导入数据 从本地Linux导入数据 查询表的数据
【大数据】在线分析、近线分析与离线分析
在这里你大概率会有所收获，欢迎指错||纠正||建议||水评+点赞&&评论&&关注&&转发
10-03 346
在线分析是指实时或准实时地处理和分析数据，通常在数据生成的同时即进行处理。在线分析的目标是在最短时间内提供分析结果，以支持即时决策。近线分析介于在线分析和离线分析之间，它允许数据处理和分析在短时间内完成，但不一定要求实时处理。近线分析的目标是在可接受的延迟范围内提供分析结果。离线分析是指对历史数据进行批量处理和分析，通常不需要实时结果。离线分析的目标是在不影响在线系统性能的前提下，对大量数据进行深度挖掘和复杂分析。在线分析适用于需要实时响应的应用场景，如实时监控、在线交易等。近线分析。
Elasticsearch基础_5.ES聚合功能
qq_43563660的博客
10-02 562
ES聚合学习记录
消息队列RabbitMQ
weixin_43364551的博客
10-02 1485
RabbitMQ是基于Erlang语言开发的开源消息通信中间件，支持AMQP，XMPP，SMTP，STOMP协议，消息延迟时微秒级别的。Ubuntu系统RabbitMQ的安装。
虚商目前有哪些业务痛点？
dipcc2023的博客
09-30 544
3、基础运营商优势地位: 虚拟运营商高度依赖于基础电信运营商的网络资源，基础运营商在网络覆盖、服务质量等方面具有明显优势，导致虚拟运营商在议价过程中处于相对弱势地位。2、价格战压力: 为了在市场中立足，一些虚拟运营商采取降价策略来吸引用户，但这不仅压缩了企业的利润空间，还可能引发恶性竟争，对整个行业的健康发展造成不利影响。随着网络规模的扩大和服务的升级，租赁成本可能会不断增加。2、资源分配不均: 在资源有限的情况下，基础运营商可能会优先保障自身业务的发展需求，导致虚拟运营商在资源分配上受到一定的限制。
基于Hadoop的微博舆情监测分析系统
计算机学姐的博客
09-29 1307
【2025最新】基于大数据+大屏可视化+SpringBoot+Vue+MySQL的微博舆情监测分析系统及可视化系统。
企业数据挖掘工具选择指南：如何找到最适合的工具
m0_67484548的博客
10-02 1056
企业数据挖掘工具选择指南：如何找到最适合的工具
NineData云原生智能数据管理平台新功能发布｜2024年9月版
云原生智能数据管理平台
09-29 248
创建复制任务时，支持选择 MySQL 的库表分组，可从多个分库分表中将数据复制到其他的分库分表，或聚合到另一个 MySQL 实例中。在复制任务的增量阶段，支持一键重新同步指定表，主要用于两端数据不一致过多的情况下重新复制整张表，以快速修复不一致。数据复制功能新增支持将 Oracle 中的数据复制到 Kafka，实现数据的实时流转和分发，支持全量和增量。本月发布 3 项更新，其中重点发布 3 项。
Hadoop MapReduce实验：词频统计详解
总结来说，MapReduce实验是大数据技术课程中的实践环节，通过实际操作，学生能够深入理解分布式计算框架Hadoop的工作原理，掌握MapReduce编程模型，并能够运用其处理大规模文本数据，进行高效的数据分析。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Elik-hb

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值