MapReduce 去除重复行，列

最新推荐文章于 2022-10-12 15:44:19 发布
原创 最新推荐文章于 2022-10-12 15:44:19 发布 · 1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#MapReduce 去除重复行，列

本文通过MapReduce代码示例，介绍如何在大数据处理中去除数据集中的重复行和列。

直接上代码
数据类型为：
在这里插入图片描述

package com.sheng.test;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;




/*
   ​    KEYIN: 输入的key

   ​     VALUEIN：输入的value

   ​     KEYOUT:输出的key

   ​    VALUEOUT：输出的value

   ​    Context:Mapper的上下文
 * 	去除重复
 * 
 */
class WcMapper4 extends Mapper<LongWritable, Text, Text, IntWritable> {
		/*
		 * KeyIn:LongWritable 行的偏移量    ValueIn:Text 这一行的值 TextInputformat
		 * 
		 */

		@Override
		protected void map(Long
最低0.47元/天 解锁文章
清洗弹幕数据，去不相关的列和空值，<MapReduce>
乔治大哥的博客
11-28 980
原始数据： 话不多说，直接上代码！ 老样子先pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
MapReducer去掉重复的数据
qq_42734637的博客
07-25 1357
file1： 2012-3-1 a 2012-3-2 b 2012-3-3 c 2012-3-4 d 2012-3-5 a 2012-3-6 b 2012-3-7 c 2012-3-3 c file2： 2012-3-1 b 2012-3-2 a 2012-3-3 b 2012-3-4 d 2012-3-5 a 2012-3-6 c 2012-3-7 d 2012-3-3 c 结果： 2...
删除表指定行的方法。~
01-14
删除表指定行的方法。。。。。。。。。。。。。。。。
map/reduce实现数据去重
weixin_30600197的博客
07-07 170
1 import java.io.IOException; 2 3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoop.conf.Configured; 5 import org.apache.hadoop.fs.Path; 6 import org.apache.h...
Mapreduce剔除缺失数据信息大于n个字段的记录
weixin_49983668的博客
11-27 1801
Mapreduce剔除缺失数据信息大于n个字段的记录 1.一开始的思路是如何去重置计数器,在map阶段的时候,计数时,如果大于等于n个字段时删除,并重置计数器,开始下一行计数,但是在map阶段的时候,没有去重置计数器,map自动为我们重置了,当时很纳闷,后来找了数据测试一下发现,map阶段每执行一行数据之后,会重新执行一次map,这也就说说,我们在计数一行的数据之后,map会重新的执行,也就把计数器重置了!!!下面是测试的代码 2.数据文件: 代码: public class Test {
MapReduce实现数据去重、数据排序、求平均值、多列单行输出
沐雨金鳞
01-27 5116
写这篇博客的目的： 1、简单实现数据去重 其实就是将数据的个数设置成空值，输出不显示就OK了 2、简单实现数据排序 因为MapReduce会自动根据key值按字典序排序，所以我们将数据转化为IntWritable类型作为key值即可 3、简单的求成绩平均值（单个文件和多个文件） 分割数据，然后将成绩转化成IntWritable类型，求平均值写入即可 4、将人名对应数据（多列）单行输出 其实
MapReduce去空去重
元气满满的小白
03-07 4999
MapReduce清洗数据 注意：此代码虽能完美实现需求，但还有一些地方需要优化 详细优化内容请访问下方链接，更新时间2019/03/13 https://blog.csdn.net/weixin_42063239/article/details/88537897 前言 爬虫爬取的数据中会有一些数据有空值或者数据重复，想要得到规范的数据则要进行数据清洗，对保存为csv类型的数据来说可以用...
mapreduce.zip
08-03
数据清洗是ETL过程的重要部分，它包括去除重复数据、处理缺失值、纠正格式错误等，以确保数据的质量和一致性。 4. **Avro文件格式**： Avro是由Apache Hadoop项目开发的一种紧凑、高效的二进制数据格式。它支持...
【去除重复数据】删除重复：提供代码示例来去除重复的行或数据。
[【去除重复数据】删除重复：提供代码示例来去除重复的行或数据。]...
mapreduce 数据去重
あずにゃん梓喵的博客
04-30 591
代码下载链接： https://pan.baidu.com/s/1VhxRXB63vz_4QZyKVFqoZQ 提取码：2v0l 1.经过了maptask：把一行数据作为key，value为空 2.每个各自的mapreduce中的相同顺序的分区中的数据都传到同一个reducetask中进行全局合并：key=一行数据。value=为空的迭代器 ...
20190319-利用MapReduce去重和排序
鲨鱼胃的博客
03-22 662
1 分析数据去重 Distinct 原文件内容 2015-3-1a 2015-3-2b 2015-3-1a 2015-5-4d 目标结果 2015-3-1a 2015-3-2b 2015-5-4d MyMapper.java package DataDistinct; import java.io.IOException; import org.apache.hadoop.io.Text; ...
java操作MapReduce代码
shike1998的博客
11-21 1038
第一个mr程序 单词统计 import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import
mapreduce程序如何跳过待处理文件的首行
xiao_jun_0820的专栏
12-09 4499
首选明白一点，map的输入key为当前行在文件内的位置偏移量，所以首行的偏移量肯定是0，所以可以进行如下判断来跳过第一行的处理 public void map(Object key, Text value, Context context) throws IOException, InterruptedException { log.info("----------key" + k
hadoop 去重
junming4的专栏
10-08 812
hadoop 去重，刚学hadoop 上一个去重的案例纪念一下。
MapReduce几个小案例
weixin_30929195的博客
08-29 1339
MapReduce案例 1.单词计数--wordcount 首先准备好文件 Hello World Hello Java Hello World Hello hadoop wo shi wo 开始编写程序 public class MapReduceTest { //第一个参数是我们的行偏移量 //第二个参数是我们的数据集 ...
MapReduce数据清理及案例
Reader
06-27 2841
大数据竞赛知识点 文章目录大数据竞赛知识点一，Hive1，导入数据2，DDL（数据定义）增删改查二，数据文件解析Json解析GBK解析判空分区 （Partitioner）规约（Combiner）序列化和反序列化（implements Writable）排序（通过比较器（compareTo））计数器（Counter）TopNCSV文件忽略首行数据库操作读取数据库步骤：step1：编写bean类写入数据库step1：编写bean类 实现 Writable, DBWritable 接口step2：根据数
基于hadoop的重复数据删除系统的设计与实现
毕业作品网站
10-12 1940
本文研究基于Hadoop的重复数据删除系统设计与实现。首先介绍重复数据删除技术的基本原理和系统架构，包括数据划分、I/O优化等关键技术。重点阐述了MapReduce计算框架的实现，通过指纹索引表和Bloom Filter算法优化检索性能。系统测试结果表明，该方案能有效提高数据存储效率，降低冗余数据量。最后总结当前成果并展望未来研究方向，为大数据环境下的数据去重存储提供了实践参考。
写mapreduce时的注意点
wtq1993的博客
03-28 857
reduce的输出为《LongWriteble，FloatWritable》时会使其得不到执行，可以通过设置job.setCombinerClass(ClassPriorReducer.class); 来使其得以执行。 Hadoop中的数据类型转化为java类型时对于Text调用toString()方法，对于其他类型则调用get（）方法， java类型转化为Hadoop类型调用had
MapReduce详细流程
qq_43506191的博客
12-03 522
MR整体流程： 准备待处理文本，文本相关信息(输入路径: /user/input、文件名称: ss.txt , 文件大小：200M)。 客户端获取待处理的数据信息（比如ss.txt根据块大小128M切分成块1的128M和块2的72M），根据参数配置，形成任务分配的规划。 客户端submit()，提交Job到Yarn (提交内容：Job.split-切片信息, jar包, Job.x...
怎么去除AIS数据中的重复行，并保留一条
最新发布
05-06
<think>好的，我现在需要帮助用户解决在AIS数据中删除重复行并保留唯一记录的问题。首先，我需要理解用户的需求。他们提到AIS数据，可能是指船舶自动识别系统（Automatic Identification System）的数据，这类数据通常包含时间戳、船舶ID、位置等信息。用户希望去除重复的行，但保留其中一条。 接下来，我要考虑如何处理数据去重。根据之前的引用，特别是引用[3]中的SQL语句，用户可能在使用数据库处理数据，比如MySQL。引用[3]中使用了GROUP_CONCAT和SUBSTRING_INDEX来获取最新的peakPeakValue，同时结合MAX函数获取最新时间。这可能意味着用户的数据中有时间戳，需要根据时间保留最新的一条记录。 用户的问题是关于去重的，常见的方法包括使用DISTINCT关键字、GROUP BY结合聚合函数，或者窗口函数如ROW_NUMBER()来标记重复行。但具体到保留哪一条，比如最新的或最旧的，需要明确规则。例如，如果数据中有时间戳字段，可能需要按时间排序，保留最新或最早的一条。 考虑到引用[3]中的例子，用户可能更倾向于保留最新的记录。因此，使用ROW_NUMBER()按时间降序排列，为每组的重复行分配序号，然后选择序号为1的行，这可能是一个有效的方法。这种方法在SQL中常用，但需要数据库支持窗口函数，比如MySQL 8.0以上版本。 另外，如果用户的数据没有唯一标识或时间戳，可能需要根据所有列来判断重复，这时候使用DISTINCT或GROUP BY所有字段即可。但如果有部分关键列需要判断重复，比如船舶ID和时间，则需要根据这些列进行分组。 还需要考虑性能问题，特别是当数据量大的时候。引用[1]中提到数据分区和排序可以减少IO，可能在大数据环境下，使用Hive或Spark时，合理分区和排序能提升去重效率。但用户当前的问题可能是在数据库层面处理，因此优化查询语句的结构很重要。 用户可能遇到的问题包括：如何确定重复行的依据字段，如何处理没有时间戳的情况，以及不同数据库系统的语法差异。例如，在MySQL中，如果使用窗口函数，需要版本支持，而低版本可能需要使用子查询和临时表来实现类似功能。 总结可能的解决方案： 1. 使用DISTINCT关键字去除完全重复的行。 2. 使用GROUP BY和聚合函数保留特定列的最大或最小值。 3. 使用窗口函数（如ROW_NUMBER）为重复行编号，然后筛选出第一条。 4. 在ETL过程中进行去重，比如使用Apache Spark或Pandas进行数据处理。 需要根据用户的具体数据结构和需求选择合适的方法。例如，如果他们需要保留最新的记录，且有时间戳字段，方法3是最合适的。如果所有列都完全相同，方法1即可。如果重复基于部分字段，则需要结合GROUP BY和聚合函数。 此外，还要注意数据备份，避免在操作过程中丢失数据。建议在测试环境中验证去重逻辑的正确性，再应用到生产数据。</think>### AIS数据去重方法及实现步骤 在AIS数据处理中删除重复记录并保留唯一记录，可通过以下方法实现： #### 方法1：使用SQL窗口函数（适用于有时间戳的精细去重） ```sql DELETE FROM ais_data WHERE (ship_id, create_time) NOT IN ( SELECT ship_id, MAX(create_time) FROM ais_data GROUP BY ship_id, mmsi, position -- 根据实际业务字段组合 ) ``` **实现原理**： 1. 通过`GROUP BY`确定重复判定字段（如船舶ID+位置） 2. 使用`MAX(create_time)`保留最新记录 3. 通过子查询删除非最新记录[^3] #### 方法2：使用ROW_NUMBER()标记重复行 ```sql WITH ranked_data AS ( SELECT *, ROW_NUMBER() OVER( PARTITION BY ship_id, position ORDER BY create_time DESC ) as row_num FROM ais_data ) DELETE FROM ranked_data WHERE row_num > 1 ``` **优势**： - 可灵活定义排序规则（时间倒序/正序） - 支持多字段组合去重 - 可视化标记重复层级[^3] #### 方法3：临时表去重（兼容低版本数据库） ```sql CREATE TABLE temp_ais LIKE ais_data; INSERT INTO temp_ais SELECT DISTINCT * FROM ais_data; TRUNCATE TABLE ais_data; INSERT INTO ais_data SELECT * FROM temp_ais; DROP TABLE temp_ais; ``` **适用场景**： - 全字段完全重复的情况 - 需要简单快速去重的场景[^1] #### 方法4：Hive数据仓库处理（大数据场景） ```sql INSERT OVERWRITE TABLE ais_data_clean SELECT ship_id, FIRST_VALUE(position) OVER w, MAX(create_time) OVER w FROM ais_data WINDOW w AS ( PARTITION BY mmsi ORDER BY create_time ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING ) ``` **特性**： - 支持TB级数据处理 - 自动进行数据分区优化[^1] - 可结合MapReduce实现分布式计算 ### 关键注意事项 1. **字段选择**：建议优先使用`mmsi+时间戳+经纬度`作为唯一性判断基准 2. **性能优化**：对`create_time`字段建立索引可提升50%以上查询效率 3. **数据验证**：去重后建议执行`SELECT COUNT(DISTINCT composite_key)`验证 4. **备份策略**：操作前使用`CREATE TABLE backup AS SELECT * FROM ais_data`
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值