mapreduce去重排序

已于 2023-12-29 11:47:08 修改
阅读量1k 收藏 22
点赞数 21
文章标签： hadoop mapreduce 大数据
于 2023-12-26 16:54:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangruishuai/article/details/135223612
版权

去重（MapReduce）

创建三个类，分别为Mapper，Reduce，Launch。添加input数据（单一数据只含K）

说明：1.与通常的Mapper，Reduce，Launch一样只是有略微区别

​ 2.因数据只含K，所以Mapper输出值为Null

​ 3.因为数据只含K，所以Reduce输出Value不需要迭代（实现相同K覆盖去重的效果）

代码如下：

Mapper

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * @ClassName SortMapper
 * @Desescription: TODO
 * @Author yangRui
 */
public class SortMapper extends Mapper<LongWritable, Text,Text, NullWritable> {

    @Override
    protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException {
        context.write(value, NullWritable.get());

    }
}

Reduce

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * @ClassName SortReduce
 * @Desescription: TODO
 * @Author yangRui
 */
public class SortReduce extends Reducer<Text, NullWritable,Text, NullWritable> {
    @Override
    protected void reduce(Text key, Iterable<NullWritable> values,Context context) throws IOException, InterruptedException {
        context.write(key,NullWritable.get());
    }
}

Launch

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * @ClassName SortLaunch
 * @Desescription: TODO
 * @Author yangRui
 */
public class SortLaunch {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
//       创建job对象
        Job job = Job.getInstance();
//        获取当前模块名
        job.setJobName("sort1");

//        设置map，reduce，Launch
        job.setMapperClass(SortMapper.class);
        job.setReducerClass(SortReduce.class);
        job.setJarByClass(SortLaunch.class);

//        设置map输出类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);

//        设置最终的输出类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);

//         获得配置，判断输出文件在指定位置是否存在
        FileSystem fs = FileSystem.get(job.getConfiguration());
        Path out= new Path("D:\\ideaProject\\hadoop\\hadoop_pro\\sort1\\output");
        if(fs.exists(out)){
            fs.delete(out,  true);
        }

//         设置文件读取路径，输出路径
        FileInputFormat.addInputPath(job, new Path("D:\\ideaProject\\hadoop\\hadoop_pro\\sort1\\input"));
        FileOutputFormat.setOutputPath(job ,out);

//        提交任务
        job.waitForCompletion(true);
    }
}

实现效果

效果前
请添加图片描述
效果后
请添加图片描述

排序（MapReduce）

创建：1.三个类，分别为Mapper，Reduce，Launch。

​ 2.工具类，KeyCompartor继承WritableComparator

​ 3.添加input数据（单一数据只含K）

说明：1.与通常的Mapper，Reduce，Launch一样只是有略微区别

​ 2.因数据只含K，所以Mapper输出值为Null

​ 3.因为数据只含K，所以Reduce输出Value需要迭代（防止相同K覆盖去重）

​ 4.Launch，添加一个set用于调用工具类实现排序，设置Reduce任务数量

​ 4.工具类，实现排序

Mapper

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/**
 * @ClassName SortMapper
 * @Desescription: TODO
 * @Author yangRui
 */
public class SortMapper extends Mapper<LongWritable, Text,LongWritable, NullWritable> {

    @Override
    protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException {
        String line = value.toString();                                 //获取一行数据
        LongWritable outKey = new LongWritable(Long.parseLong(line));   //将String类型转换为Long
        context.write(outKey, NullWritable.get());
    }
}

Reduce

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;

/**
 * @ClassName SortReduce
 * @Desescription: TODO
 * @Author yangRui
 */
public class SortReduce extends Reducer<LongWritable, NullWritable,LongWritable, NullWritable> {

    @Override
    protected void reduce(LongWritable key, Iterable<NullWritable> values, Reducer<LongWritable, NullWritable, LongWritable, NullWritable>.Context context) throws IOException, InterruptedException {
//       迭代空value，有相同K不覆盖
        for(NullWritable item:values){
            context.write(key,NullWritable.get());
        }
    }
}

Launch

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * @ClassName SortLaunch
 * @Desescription: TODO
 * @Author yangRui
 */
public class SortLaunch {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
//       创建job对象
        Job job = Job.getInstance();
//        获取当前模块取别名
        job.setJobName("sort1");

//        设置map，reduce，Launch
        job.setMapperClass(SortMapper.class);
        job.setReducerClass(SortReduce.class);
        job.setJarByClass(SortLaunch.class);

//        设置map输出类型
        job.setMapOutputKeyClass(LongWritable.class);
        job.setMapOutputValueClass(NullWritable.class);

//        设置最终的输出类型
        job.setOutputKeyClass(LongWritable.class);
        job.setOutputValueClass(NullWritable.class);

//        调用工具类实现排序
        job.setSortComparatorClass(KeyCompartor.class);

//         获得配置，判断输出文件在指定位置是否存在
        FileSystem fs = FileSystem.get(job.getConfiguration());
        Path out= new Path("D:\\ideaProject\\hadoop\\hadoop_pro\\sort1\\output");
        if(fs.exists(out)){
            fs.delete(out,  true);
        }

//         设置文件读取路径，输出路径
        FileInputFormat.addInputPath(job, new Path("D:\\ideaProject\\hadoop\\hadoop_pro\\sort1\\input"));
        FileOutputFormat.setOutputPath(job ,out);

//        设置Reduce任务数量
        job.setNumReduceTasks(1);
//        提交任务
        job.waitForCompletion(true);
    }
}

KeyCompartor

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;

/**
 * @ClassName KeyCompartor
 * @Desescription: TODO
 * @Author yangRui
 */
public class KeyCompartor extends WritableComparator {
    public KeyCompartor() {
        super(LongWritable.class , true); //创建比较器对象，默认false不创建对象
    }
    /*
     * 0 =>相等
     * -1 =>小于
     * 1 =>大于
     * */
    @Override
    public int compare(WritableComparable a, WritableComparable b) {
//        比较K大小进行排序
        LongWritable left = (LongWritable) a;
        LongWritable right = (LongWritable) b;
        return -(left.compareTo(right));
    }
}

实现效果

实现前
请添加图片描述
实现后

请添加图片描述

报错解决

报错内容
在这里插入图片描述
解决方法
添加资源文件：log4j.properties放到resources资源文件下

log4j.rootLogger=INFO, stdout, file

log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.File=/logs/myapp.log
log4j.appender.file.MaxFileSize=10MB
log4j.appender.file.MaxBackupIndex=10
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} [%-5p] [%-30F:%-5L] - %m%n

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} [%-20t] %c:%L %m%n
爱吃马铃薯0.0
关注
  • 21
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Mapreduce-实践
04-16
（实践一）数值概要中combiner的作用 在前述数值概要的运用中，加入不同的combiner，测试不同...在ctrip数据集上进行Top 10排序。 （实践五）去重的用户—针对ctrip数据集去重 对ctrip数据集中的product-id进行去重操作
MapReduce常用算法11
08-03
MapReduce常用算法11 - 双表关联、排序、去重、过滤 MapReduce是一种编程模型，广泛应用于大数据处理领域。其中，双表关联、排序、去重、过滤是常用的MapReduce算法。下面，我们将详细介绍这些算法的实现原理和...
大数据MapReduce实现IP定位
05-17
MapReduce会在每个分区内部对键进行排序，这有助于保证同一IP地址的所有条目会在同一台机器上处理，从而简化Reduce阶段的工作。此外，数据的分区策略也会影响处理效率，合理设置分区可以帮助负载均衡。 为了运行这...
大数据技术原理及应用课实验5 :MapReduce初级编程实践
01-16
在这个实验中，我们将学习如何利用MapReduce编程解决实际问题，包括数据去重、数据排序和信息挖掘。 **一、MapReduce编程基础** MapReduce的核心在于两个主要阶段：Map阶段和Reduce阶段。Map阶段将输入数据分解成...
大数据Mapreduce（1）编程实现文件合并和去重操作.docx
11-21
本实验报告将介绍如何使用MapReduce编程实现文件合并和去重操作，并对输入文件进行排序和数据挖掘。 文件合并和去重操作 文件合并和去重操作是指将两个输入文件合并成一个新的输出文件，并剔除其中重复的内容。...
Hadoop NameNode 进入 Safe Mode 的问题分析与解决方案
marsjin的专栏
07-25 760
通过以上步骤，您可以有效地解决 Hadoop NameNode 进入 Safe Mode 的问题，确保集群能够正常运行。如果问题仍然存在，建议进一步检查集群的整体健康状况，并寻求专业人员的帮助。希望本文能够帮助您快速解决问题，让您的大数据处理任务顺利进行！
Hadoop、Hive、HBase、数据集成、Scala阶段测试
m0_58050808的博客
07-24 1108
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
WPF前端：一个简单的数值设置样式卡片，支持MVVM绑定
XX_YYDS的博客
07-24 510
WPF前端：数值设置卡片样式，支持MVVM绑定
图解 Hadoop 架构 ｜Yarn、MapReduce
面向生活编程
07-22 916
YARN（Yet Another Resource Negotiator）是 Hadoop 生态系统的一个关键组件，用于集群资源管理和作业调度，是 Hadoop 的第二代资源管理器，取代了早期版本中的 MapReduce 作业调度器，为大规模数据处理提供了更灵活和高效的资源管理框架。尽管 MapReduce 在大数据处理方面取得了巨大成功，但随着数据处理需求的多样化，其他更灵活和高级的计算模型和框架也得到了发展和应用，如 Spark、Flink 等。后续会出一篇关于 YARN 详细笔记，这里不过多赘述～
分布式系统常见软件架构模式
Ben的专栏
07-25 951
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
SpringBoot整合Elastic-Job 2.1.53版本任务调度，手动任务，动态添加任务演示
小哇
07-23 397
zookeeper安装并成功运行。
数据分析师学习路线与就业环境分析报告
关注收藏，可以私信解决问题！
07-23 955
数据分析师负责收集、处理和分析数据，以帮助企业做出基于数据的决策。他们使用统计方法、数据建模和数据可视化技术来解释复杂的数据集。
江苏科技大学24计算机考研数据速览，有专硕复试线大幅下降67分！
m0_72717598的博客
07-23 500
江苏科技大学（Jiangsu University of Science and Technology），坐落在江苏省镇江市，是江苏省重点建设高校，江苏省人民政府与中国船舶集团有限公司共建高校，国家国防科技工业局与江苏省人民政府共建高校 ，教育部卓越工程师教育培养计划高校，教育部本科教学工作水平评估优秀学校，江苏省高水平大学建设高峰计划B类建设高校，中国船舶与海洋工程产业知识产权联盟、江苏船舶与海洋类高校协同发展联盟牵头单位。其中，研究生新生学业奖学金特等奖3万，一等奖1.2万，二等奖0.8万；
Kafka知识总结（选举机制+控制器+幂等性）
最新发布
月伴飞鱼
07-27 748
其他Broker启动时也会在Zookeeper中创建临时节点，但是发现节点已经存在，所以它们会收到一个异常，意识到控制器已经存在，那么就会在Zookeeper中创建Watch对象，便于它们收到控制器变更的通知。他只能保证单分区上的幂等性，即一个幂等性Producer只能够保证某个topic的一个分区上不出现重复消息，无法实现多分区的幂等。控制器上保存了最全的集群元数据信息，其他所有 Broker 会定期接收控制器发来的元数据更新请求，从而更新其内存中的缓存数据。目前，当有新 Broker 启动后，它会在。
杭州东网约车管理再出行方面取得的显著成效
2301_81759256的博客
07-25 480
本次革新，沧穹科技首创将音频“室内北斗”应用于网约车智能导航，利用其信号的空间传播特性和信号传播时间或相位差的精确测量技术，实现网约车智能化服务中对车辆与乘客实时位置的精确追踪，从而确保从预约到乘车的全流程实现智能化、可视化、灵活化管理。同时，管理部门还利用大数据分析，对网约车运营情况进行实时监控和分析，及时发现问题并进行处理，确保了网约车服务的稳定性和可靠性。同时，管理部门还将持续关注行业动态和乘客需求变化，不断优化服务流程和提高服务质量，为广大市民和游客提供更加便捷、安全、舒适的出行体验。
压测实操--produce压测方案
07-24 939
作者：九月环境信息：操作系统centos7.9，kafka版本为hdp集群中的2.0版本。
Apache DolphinScheduler Worker Task执行原理解析
Apache DolphinScheduler开源社区
07-25 731
Apache DolphinScheduler是一个分布式、易扩展的可视化工作流调度开源系统，适用于企业级场景。它提供了以下主要功能，通过可视化操作，提供了工作流和任务全生命周期的数据处理解决方案。白鲸开源是一家开源原生的 DataOPS 商业公司，由多个Apache基金会成员创立。公司主要参与贡献了两个Apache开源项目，一个是Apache DolphinScheduler，另一个是Apache SeaTunnel。基于这两个项目，我们打造了一个商业产品——WhaleStudio。
自定义维度映射：Kylin Cube设计的高级玩法
2401_85763639的博客
07-25 592
维度的自定义映射是指用户可以根据实际需求，将数据源中的列映射到Cube的维度，而不是简单地使用一对一的映射。直接映射：将数据源中的列直接映射到Cube的维度。转换映射：对数据源中的列进行转换后，再映射到Cube的维度。组合映射：将多个数据源列组合成一个维度。在Kylin中，维度的自定义映射可以通过修改Cube的定义来实现。定义数据模型：在Hive中创建数据表，并定义好需要映射的列。编写Hive脚本：编写Hive SQL脚本来转换和组合数据源列。创建Cube。
AccessLog| 一款开源的日志分析系统
ClkLog的博客
07-26 379
系统采用Java语言、搭配OLAP数据库，涵盖基本web日志分析，同时提供性能分析，帮助高效运维
mapreduce数据去重
10-24
MapReduce是一种分布式计算...需要注意的是，在MapReduce中，数据去重需要保证输入数据已经按照某个关键字进行了排序。如果输入数据没有排序，则需要在Map阶段进行排序操作，以保证相同的数据能够被分到同一个分组中。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值