015 MapReduce中自定义数据类型 MapReduce中的Top-n

最新推荐文章于 2022-12-17 20:14:48 发布
最新推荐文章于 2022-12-17 20:14:48 发布
阅读量224 收藏
点赞数
分类专栏： 大数据 文章标签： MapReduce中自定义数据类型 MapReduce中的TopN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/C_time/article/details/90700841
版权

mr中的常用数据类型
Text
IntWritable
VIntWritable
DoubleWritable
floatWritable
shortWritable
longWritable
VLongWritable
byteWritable
booleanWritable
NullWritable

MapWritable
自定义数据类型

Top-N
数据
hello qianfeng hello qianfeng qianfeng is best qianfeng is better
hadoop is good
spark is nice

取统计后的前三名：
qianfeng 4
is 3
hello 2

shift + ctrl + s
在这里插入图片描述

重写下无参构造有参构造方法
getset方法
hashcode 和 equals方法
toString
…
我也不知道有什么用

先写的word 第二个函数第一句也写word 所以叫顺序一样
个数一样
类型一样
在这里插入图片描述

vi ./tn

在这里插入图片描述

hdfs dfs -put /home/tn /tn

在这里插入图片描述

yarn jar /home/wc.jar qf.com.mr.TopNDemo /tn /out/23

运行

在这里插入图片描述
看结果

hdfs dfs -put /home/tn /tn

在这里插入图片描述
结果是对的

不是 运行是对的
但是我们的代码有问题
qianfeng 4
is 4
value相同时就留下了一个
这个问题
所以要改改

但是 改哪里呢
不知道
请赐教

知道为什么了吗
因为Set集合
不能存放重复的值！！！！

具体的是：

看最下面贴的代码
我们使用TreeSet存放Reducer的最终输出
而在存放值时
我们自定义的TopNWritable类中使用的CompareTo比较的是

	public int compareTo(TopNWritable o) {
		return o.counter - this.counter;//倒排
	}

是比较值
就比如说有两个单词出现4次
那么4 - 4 = 0
重复了 就不放进去了
所以 出现了 上面的情况

再看看截图的解释
在这里插入图片描述

所以吧 我们就改改数据把 哈哈哈
看看
在这里插入图片描述
运行

yarn jar /home/wc.jar qf.com.mr.TopNDemo /tn /out/34

看结果

hdfs dfs -cat /out/34/part-r-00000

没问题了 哦了
在这里插入图片描述
…

数据
hello qianfeng hello qianfeng qianfeng is best qianfeng better
hadoop is good
spark is nice

取统计后的前三名：
qianfeng 4
is 3
hello 2

  • 类说明：
  • 1.自定义数据类型需要实现Writable（不能排序）、或者WritableComparable(可排序)
  • 2.实现该实现的方法 write readFields compareTo
  • 3.方法write readFields 里面的字段个数和顺序要一致 类型要匹配
  • 4.可以重写toString equal hashcode等方法
package qf.com.mr;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.io.WritableComparable;

/*
*@author Shishuai E-mail：1198319583@qq.com
*@version Create time ： 2019年5月30日下午5:13:33
*类说明：
*1.自定义数据类型需要实现Writable（不能排序）、或者WritableComparable(可排序)
*2.实现该实现的方法 write readFields compareTo
*3.方法write readFields 里面的字段个数和顺序要一致 类型要匹配
*4.可以重写toString equal hashcode等方法
*
*
*
*Top-N
数据
hello qianfeng hello qianfeng qianfeng is best qianfeng is better
hadoop is good
spark is nice

取统计后的前三名：
qianfeng 4
is 3
hello 2
*/
public class TopNWritable implements WritableComparable<TopNWritable>{
	
	
	
	
	public String word;
	public int counter;
	
	
	public TopNWritable() {
		
	}
	
	public TopNWritable(String word, int counter) {
		super();
		this.word = word;
		this.counter = counter;
	}

	/**
	 * 序列化
	 */
	public void write(DataOutput out) throws IOException {
		out.writeUTF(this.word);
		out.writeInt(this.counter);
		
	}
	/**
	 * 反序列化
	 */
	public void readFields(DataInput in) throws IOException {
		this.word = in.readUTF();
		this.counter = in.readInt();
	}

	public int compareTo(TopNWritable o) {
		return o.counter - this.counter;//倒排
	}

	public String getWord() {
		return word;
	}

	public void setWord(String word) {
		this.word = word;
	}

	public int getCounter() {
		return counter;
	}

	public void setCounter(int counter) {
		this.counter = counter;
	}

	@Override
	public int hashCode() {
		final int prime = 31;
		int result = 1;
		result = prime * result + counter;
		result = prime * result + ((word == null) ? 0 : word.hashCode());
		return result;
	}

	@Override
	public boolean equals(Object obj) {
		if (this == obj)
			return true;
		if (obj == null)
			return false;
		if (getClass() != obj.getClass())
			return false;
		TopNWritable other = (TopNWritable) obj;
		if (counter != other.counter)
			return false;
		if (word == null) {
			if (other.word != null)
				return false;
		} else if (!word.equals(other.word))
			return false;
		return true;
	}

	@Override
	public String toString() {
		return "[" + word + "\t" +  counter + "]";
	}
	

}
  • 类说明：Top-N
  • 就是求前几名
package qf.com.mr;

import java.io.IOException;
import java.util.TreeSet;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

/*
*@author Shishuai E-mail：1198319583@qq.com
*@version Create time ： 2019年5月28日下午5:42:34
*类说明：Top-N
*就是求前几名
....
*/
public class TopNDemo implements Tool {

	/**
	 * map阶段
	 * 
	 * @author HP
	 *
	 */
	public static class MyMapper extends Mapper<LongWritable, Text, Text, Text> {

		@Override
		protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
			String line = value.toString();
			String words[] = line.split(" ");
			for (String s : words) {
				context.write(new Text(s), new Text(1 + ""));
				
			}
			
		}

	}

	/**
	 * reduce阶段
	 */
	public static class MyReducer extends Reducer<Text, Text, TopNWritable, NullWritable> {
		
		public static final int TOP_N = 3;
		//定义一个最终输出结果
		TreeSet<TopNWritable> ts = new TreeSet<TopNWritable>();
		
		@Override
		protected void reduce(Text key, Iterable<Text> values, Context context)
				throws IOException, InterruptedException {
			int counter = 0;
			for (Text t : values) {
				counter += Integer.parseInt(t.toString());
			}
			//构造最终输出类型
			TopNWritable tn = new TopNWritable(key.toString(), counter);
			//将tn对象添加到ts
			ts.add(tn);
			
			//如果ts里面的数据个数大于TOP_N的时候将移除最后一个（最大的在上面）
			if(ts.size() > TOP_N) {
				ts.remove(ts.last());
			}
			
			//context.write(tn, NullWritable.get());
		}

		@Override
		protected void cleanup(Context context)
				throws IOException, InterruptedException {
			//循环打印ts中的元素
			for (TopNWritable tn : ts) {
				context.write(tn, NullWritable.get());
			}
		}
		
	}

	public void setConf(Configuration conf) {
		// 对conf的属性设置
		conf.set("fs.defaultFS", "hdfs://qf");
		conf.set("dfs.nameservices", "qf");
		conf.set("dfs.ha.namenodes.qf", "nn1, nn2");
		conf.set("dfs.namenode.rpc-address.qf.nn1", "hadoop01:9000");
		conf.set("dfs.namenode.rpc-address.qf.nn2", "hadoop02:9000");
		conf.set("dfs.client.failover.proxy.provider.qf",
				"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
	}

	public Configuration getConf() {
		return new Configuration();
	}

	public int run(String[] args) throws Exception {
		// 1.获取配置对象信息
		Configuration conf = new Configuration();
		// 2.对conf进行设置（没有就不用）
		// 3.获取job对象 （注意导入的包）
		Job job = Job.getInstance(conf, "job");
		// 4.设置job的运行主类
		job.setJarByClass(TopNDemo.class);

		// set inputpath and outputpath
		setInputAndOutput(job, conf, args);

		// System.out.println("jiazai finished");
		// 5.对map阶段进行设置
		job.setMapperClass(MyMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(Text.class);

		// System.out.println("map finished");
		// 6.对reduce阶段进行设置
		job.setReducerClass(MyReducer.class);
		job.setOutputKeyClass(TopNWritable.class);
		job.setOutputValueClass(NullWritable.class);

		return job.waitForCompletion(true) ? 0 : 1;
	}

	// 主方法
	public static void main(String[] args) throws Exception {
		int isok = ToolRunner.run(new Configuration(), new TopNDemo(), args);
		System.out.println(isok);
	}

	/**
	 * 处理参数的方法
	 * 
	 * @param job
	 * @param conf
	 * @param args
	 */

	private void setInputAndOutput(Job job, Configuration conf, String[] args) {
		if (args.length != 2) {
			System.out.println("usage:yarn jar /*.jar package.classname /* /*");
			return;
		}
		// 正常处理输入输出参数
		try {
			FileInputFormat.addInputPath(job, new Path(args[0]));

			FileSystem fs = FileSystem.get(conf);
			Path outputpath = new Path(args[1]);
			if (fs.exists(outputpath)) {
				fs.delete(outputpath, true);
			}
			FileOutputFormat.setOutputPath(job, outputpath);
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

}
C_time
关注
专栏目录
MapReduce 自定义数据类型
qq_35315363的博客
07-03 307
MapReduce 自定义数据类型 需求： 具体实现 （1）创建类实现WritableComparable或者Writable （2）根据需要定义属性，生成get/set （3）构造：空参，带参数 （4）序列化和反序列方法实现 （5）比较方法compareTo （6）toString方法的实现 Map代码： package com.huadian.bigdata.u...
利用MapReduce实现自定义排序
qq_44735442的博客
06-16 1297
利用MapReduce实现自定义排序 1.第一种实现的方式是：将数据封装到list中，使用集合的排序方法实现排序在cleanup方法中加入代码实现排序； 所以这里只适合把所有的数据都放在一个pojo中； 2.第二种是将pojo类作为key从Mapper传递到Reducer，然后值作为key，然后遍历进行传递。 3.共同点：两种方式都要实现WritableComparable接口，重写compareTo()方法，然后指定两个int类型的数据相减， 或者也可以指定多字段进行排序 1.Pojo类（用来实现排序的，
MapReduce模型--自定义数据类型
05-28
通过自定义数据类型，可以使用Hadoop处理单表数据查询以及多表相互关联的应用场景。
Mapreduce自定义数据类型
IT晓白
10-15 546
Hadoop自带的数据类型： Intwritable,LongWritable,Text,xxWritable.   某些情况下：使用自定义的数据类型方便一些（类似java中的pojo）。 实现： 实现writableComparable接口即可。 场景例如： 成绩表：由语文，数学，英文组成。 上传到hdfs上score目录下一个score.txt文件--文件内容如下： 想...
Hadoop MapReduce自定义数据类型
weixin_34088583的博客
12-11 106
一 自定义数据类型的实现 1.继承接口Writable,实现其方法write()和readFields(), 以便该数据能被序列化后完成网络传输或文件输入/输出； 2.如果该数据需要作为主键key使用，或需要比较数值大小时，则需要实现WritalbeComparable接口,实现其方法write(),readFields(),CompareTo() 。 3.重写toString()、hash...
Hadoop读书笔记（六）MapReduce自定义数据类型demo
xlin
11-25 109
  Hadoop读书笔记（一）Hadoop介绍：http://blog.csdn.net/caicongyang/article/details/39898629 Hadoop读书笔记（二）HDFS的shell操作：http://blog.csdn.net/caicongyang/article/details/41253927 Hadoop读书笔记（三）Java API操作HDFS：ht...
16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN
最新发布
05-29
总结，MapReduce提供了强大的工具来处理大规模数据，包括自定义序列化以适应各种数据类型，通过排序、分区和分组优化数据处理流程，以及使用TopN算法挖掘数据中的热点信息。理解并掌握这些基本用法对于开发高效、...
MapReduce操作实例-TopN.pdf
07-11
在MapReduce操作实例中，TopN问题通常是指找出数据集中出现频率最高的N个元素。在这个实例中，我们看到如何利用Hadoop的MapReduce框架来解决此类问题。以下是具体步骤和涉及的知识点： 1. **Mapper类**：在`...
MapReduce自定义输出输入及求TopN
Imflash的博客
09-11 183
##1. 自定义InputFormat合并小文件 1.1 需求 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案 1.2 分析 小文件的优化无非以下几种方式： 1、 在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS 2、 在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并 3、 在mapr...
大数据MapReduce学习案例：TopN
Python_XTyyds的博客
12-17 1625
大数据MapReduce学习案例：TopN
MapReduce自定义数据类型
BehandTheTime的博客
02-23 864
Mapreduce有基本数据类型Text，IntWritable...，也可以由我们自定义数据类型。我们自定义数据类型需要实现接口WritableComparable，基本数据类型也是实现了这个接口。 下面是接口WritableComparable的源码 可以看到接口WritableComparable继承了两个接口，而自己并没有实现任何方法。 下面是Writable接口的源码 可
Hadoop-MapReduce之自定义数据类型
weixin_30511039的博客
10-31 79
以下是自定义的一个数据类型，有两个属性，一个是名称，一个是开始点（可以理解为单词和单词的位置） MR程序就不写了，请看WordCount程序。 package cn.genekang.hadoop.mr.RealignerTargetCreator; import java.io.DataInput; import java.io.DataOutput; import jav...
mapreduce中用户自定义数据类型
asheng1116的专栏
09-22 229
该博客已经完全转移到http://sunhs.me   中并增加更多新的技术内容（hadoop为     主），欢迎访问！   mapreduce中用户自定义数据类型hadoop内置的数据类型：BooleanWritableByteWritableDoubleWritableFloatWritableIntWritableLongWritableTextNullWritable自...
自定义MapReduce数据类型的总结
曾一航bd
10-07 367
MapReduce中的所有的数据类型要实现Writable接口，以便可以被序列化网络传输和文件储存 基本数据类型有8种，看源码发现都实现了WritableComparable接口，此接口继承了Writable，对key进行排序，所以我们在定义key的数据类型时必须要实现WritableComaprable接口。 以下分别分为两部分介绍：1、对于key的数据类型自定义    2、对于value的...
第十八天 -- MapReduce自定义数据类型
cry970795248的博客
10-13 412
第十八天 – MapReduce自定义数据类型 文章目录第十八天 -- MapReduce自定义数据类型一、多文件输出二、二次排序 -- 内存排序三、二次排序 -- KV排序实现自定义数据类型四、求统计结果前N名实现自定义数据类型 一、多文件输出 import java.io.IOException; import java.util.StringTokenizer; import org.ap...
在MapReduce的Map和Reduce过程中使用自定义数据类型
墨染百城
03-13 1056
手机流量数据文件如下所示，现在需要写一个MR程序计算每个手机的上行流量总数，下行流量总数及总流量。1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200 1363157995052 13826544101 5C-0
MapReduce 基础案例 之 倒排索引
努力吧闫小胖的博客
09-05 3044
倒排索引 倒排索引是文档检索系统中最常用的数据结构，被广泛地应用于全文搜索引擎 倒排索引，不是按照每个文档中单词的字数来统计，而是反过来根据单词去不同文件中进行统计，故而称为倒排索引。 而在统计的过程中，单词在不同文件中还会带上一个权值，这个权值用来指出每个文档与搜索内容的相关度，经常是在文件中出现的次数 举例 index.html hadoop hadoop hadoop ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值