MapReduce 去除重复行，列

最新推荐文章于 2022-10-12 15:44:19 发布
最新推荐文章于 2022-10-12 15:44:19 发布
阅读量943 收藏 5
点赞数
分类专栏： 大数据 文章标签： MapReduce 去除重复行，列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43599377/article/details/103499619
版权
本文通过MapReduce代码示例，介绍如何在大数据处理中去除数据集中的重复行和列。
摘要由CSDN通过智能技术生成

直接上代码
数据类型为：
在这里插入图片描述

package com.sheng.test;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;




/*
   ​    KEYIN: 输入的key

   ​     VALUEIN：输入的value

   ​     KEYOUT:输出的key

   ​    VALUEOUT：输出的value

   ​    Context:Mapper的上下文
 * 	去除重复
 * 
 */
class WcMapper4 extends Mapper<LongWritable, Text, Text, IntWritable> {
		/*
		 * KeyIn:LongWritable 行的偏移量    ValueIn:Text 这一行的值 TextInputformat
		 * 
		 */

		@Ove
最低0.47元/天 解锁文章
不言尘世
关注
专栏目录
清洗弹幕数据，去不相关的列和空值，<MapReduce>
乔治大哥的博客
11-28 871
原始数据： 话不多说，直接上代码！ 老样子先pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
MapReducer去掉重复的数据
qq_42734637的博客
07-25 1292
file1： 2012-3-1 a 2012-3-2 b 2012-3-3 c 2012-3-4 d 2012-3-5 a 2012-3-6 b 2012-3-7 c 2012-3-3 c file2： 2012-3-1 b 2012-3-2 a 2012-3-3 b 2012-3-4 d 2012-3-5 a 2012-3-6 c 2012-3-7 d 2012-3-3 c 结果： 2...
map/reduce实现数据去重
weixin_30600197的博客
07-07 135
1 import java.io.IOException; 2 3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoop.conf.Configured; 5 import org.apache.hadoop.fs.Path; 6 import org.apache.h...
删除表指定行的方法。~
01-14
删除表指定行的方法。。。。。。。。。。。。。。。。
Mapreduce剔除缺失数据信息大于n个字段的记录
weixin_49983668的博客
11-27 1730
Mapreduce剔除缺失数据信息大于n个字段的记录 1.一开始的思路是如何去重置计数器,在map阶段的时候,计数时,如果大于等于n个字段时删除,并重置计数器,开始下一行计数,但是在map阶段的时候,没有去重置计数器,map自动为我们重置了,当时很纳闷,后来找了数据测试一下发现,map阶段每执行一行数据之后,会重新执行一次map,这也就说说,我们在计数一行的数据之后,map会重新的执行,也就把计数器重置了!!!下面是测试的代码 2.数据文件: 代码: public class Test {
【MapReduce】使用MapReduce来实现数据清洗
HR的博客
03-11 3007
使用MapReduce来实现数据清洗 需求 删除含有空值的数据 删除重复的数据 我们假设价格在1000-3500之间为合理值，去除价格异常的数据 节省>价格为异常，去除节省异常值 酒店只保留名称，其他的多余信息删除 ...
MapReduce去空去重
元气满满的小白
03-07 4792
MapReduce清洗数据 注意：此代码虽能完美实现需求，但还有一些地方需要优化 详细优化内容请访问下方链接，更新时间2019/03/13 https://blog.csdn.net/weixin_42063239/article/details/88537897 前言 爬虫爬取的数据中会有一些数据有空值或者数据重复，想要得到规范的数据则要进行数据清洗，对保存为csv类型的数据来说可以用...
mapreduce.zip
08-03
数据清洗是ETL过程的重要部分，它包括去除重复数据、处理缺失值、纠正格式错误等，以确保数据的质量和一致性。 4. **Avro文件格式**： Avro是由Apache Hadoop项目开发的一种紧凑、高效的二进制数据格式。它支持...
mapreduce 计算excel_MapReduce练习
weixin_39662594的博客
12-20 506
有需要的可以自取，记得帮我点个星星问题描述在关系代数中，自然连接(Natural join)是一种特殊的等值连接，它要求两个关系中进行比较的分量必须是相同的属性组，并且在结果中把重复的属性列去掉。根据给定的数据《student.xlsx》和《student_course.xlsx》，请使用MapReduce计算模型，实现表student和表student_course的自然连接，结果集包括学生学号...
mapreduce 数据去重
あずにゃん梓喵的博客
04-30 453
代码下载链接： https://pan.baidu.com/s/1VhxRXB63vz_4QZyKVFqoZQ 提取码：2v0l 1.经过了maptask：把一行数据作为key，value为空 2.每个各自的mapreduce中的相同顺序的分区中的数据都传到同一个reducetask中进行全局合并：key=一行数据。value=为空的迭代器 ...
20190319-利用MapReduce去重和排序
鲨鱼胃的博客
03-22 606
1 分析数据去重 Distinct 原文件内容 2015-3-1a 2015-3-2b 2015-3-1a 2015-5-4d 目标结果 2015-3-1a 2015-3-2b 2015-5-4d MyMapper.java package DataDistinct; import java.io.IOException; import org.apache.hadoop.io.Text; ...
java操作MapReduce代码
shike1998的博客
11-21 966
第一个mr程序 单词统计 import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import
mapreduce程序如何跳过待处理文件的首行
xiao_jun_0820的专栏
12-09 4387
首选明白一点，map的输入key为当前行在文件内的位置偏移量，所以首行的偏移量肯定是0，所以可以进行如下判断来跳过第一行的处理 public void map(Object key, Text value, Context context) throws IOException, InterruptedException { log.info("----------key" + k
hadoop 去重
junming4的专栏
10-08 758
hadoop 去重，刚学hadoop 上一个去重的案例纪念一下。
MapReduce几个小案例
weixin_30929195的博客
08-29 1266
MapReduce案例 1.单词计数--wordcount 首先准备好文件 Hello World Hello Java Hello World Hello hadoop wo shi wo 开始编写程序 public class MapReduceTest { //第一个参数是我们的行偏移量 //第二个参数是我们的数据集 ...
MapReduce数据清理及案例
Reader
06-27 2520
大数据竞赛知识点 文章目录大数据竞赛知识点一，Hive1，导入数据2，DDL（数据定义）增删改查二，数据文件解析Json解析GBK解析判空分区 （Partitioner）规约（Combiner）序列化和反序列化（implements Writable）排序（通过比较器（compareTo））计数器（Counter）TopNCSV文件忽略首行数据库操作读取数据库步骤：step1：编写bean类写入数据库step1：编写bean类 实现 Writable, DBWritable 接口step2：根据数
基于hadoop的重复数据删除系统的设计与实现
最新发布
毕业作品网站
10-12 1815
结构体中hash[HASH_SIZE]用来保存数据块的指纹值，MapReduce_l是重复数据删除之后数据块的真实存储地址，ref_cnt表示的是该数据页的重复度，即有多少个MapReduce_u计算到这个MapReduce_l上。在系统总体设计的基础上，本章主要详述了基于Hadoop的重复数据删除系统的实现，包括MapReduce计算框架的实现、指纹计算和指纹检索模块的实现以及Bloom Filter过滤算法的实现，最后分析了整个系统的读写流程。//保存160bit的指纹值。//指向对应的指纹索引节点。
写mapreduce时的注意点
wtq1993的博客
03-28 793
reduce的输出为《LongWriteble，FloatWritable》时会使其得不到执行，可以通过设置job.setCombinerClass(ClassPriorReducer.class); 来使其得以执行。 Hadoop中的数据类型转化为java类型时对于Text调用toString()方法，对于其他类型则调用get（）方法， java类型转化为Hadoop类型调用had
HBase数据库详解：分布式列式存储与表设计
这种双向索引的设计有助于提高查询效率，但可能需要额外的计算来去除重复的用户ID并进行统计。 Hadoop家族中的其他工具，如Pig是一种数据流处理语言，它可以将复杂的MapReduce任务转化为简单的Pig Latin语句执行。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值