mapreduce的自定义类

最新推荐文章于 2021-01-20 19:01:51 发布

jsperlee

最新推荐文章于 2021-01-20 19:01:51 发布

阅读量475

点赞数

分类专栏： mapreduce

本文链接：https://blog.csdn.net/qq_27347421/article/details/104097872

版权

本文介绍了在MapReduce中如何创建自定义类来处理需要发送的多个变量数据。自定义类需实现Writable接口，覆盖write()进行序列化和ReadFields()进行反序列化的方法。值得注意的是，这类自定义类不适用于作为map输出的key，但在其他位置可以正常使用。

摘要由CSDN通过智能技术生成

自定义类

当我们需要发送的数据超过一个变量的时候
1）需要实现一个接口：Writable
2）需要实现两个抽象方法：
write() 序列化
ReadFields() 反序列化
注意：自定义类不能放在map输出的key的位置，其他位置都可以。

案例：

package com.lee.define;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/*
 * map端:
 * key:手机号
 * value：上行流量+下行流量
 * 	拼串   自定义类
 * reduce端： 
 * 	累加求和
 * */
public class Flow {
	static class myMapper ext