反序列化的时候出现eof exception_大数据技术之Hadoop（MapReduce）第2章 Hadoop序列化...

本章大纲

本章大纲

2.1 序列化概述

2.1.1 什么是序列化

序列化就是把内存中的对象，转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。

反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化数据，转换成内存中的对象。

2.1.2 为什么要序列化

一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。 然而序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。

2.1.3 为什么不用Java序列化

1.首先序列化应满足的格式标准：精简、快速、可扩展、支持互操作；2.java后续实例只引用第一次出现的句柄，句柄占5个字节；而句柄引用不适用于随机访问；3.hadoop流中的每一条记录均独立于其他记录；4.hadoop序列化不需要为新建对象分配空间而得到存储节省是非常可观的；

hadoop序列化特点

1.紧凑：带宽是集群中信息传递的最宝贵的资源所以我们必须想法设法缩小传递信息的大小。java序列化不够灵活，为了更好的控制序列化的整个流程所以使用Writable，java序列化会保存类的所有信息 依赖等，hadoop序列化不需要2.对象可重用：JDK的反序列化会不断地创建对象，这肯定会造成一定的系统开销，但是在hadoop的反序列化中，能重复的利用一个对象的readField方法来重新产生不同的对象。java序列化每次序列化都要重新创建对象，内存消耗大。Writable可以重用。3.可拓展性：hadoop自己写序列化很容易，可以利用实现hadoop的Writable接口 实现了直接比较字符流以确定两个Writable对象的大小。而java不是，java的序列化机制在每个类的对象第一次出现的时候保存了每个类的信息。

2.2 自定义bean对象实现序列化接口(Writable)

在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部传递一个bean对象，那么该对象就需要实现序列化接口。具体实现bean对象序列化步骤如下7步。

(1)必须实现Writable接口

(2)反序列化时，需要反射调用空参构造函数，所以必须有空参构造

public FlowBean() {    super();}

(3)重写序列化方法

@Overridepublic void write(DataOutput out) throws IOException {    out.writeLong(upFlow);    out.writeLong(downFlow);    out.writeLong(sumFlow);}

(4)重写反序列化方法

@Overridepublic void readFields(DataInput in) throws IOException {    upFlow = in.readLong();    downFlow = in.readLong();    sumFlow = in.readLong();}

(5)注意反序列化的顺序和序列化的顺序完全一致

(6)要想把结果显示在文件中，需要重写toString()，可用””分开，方便后续用。

(7)如果需要将自定义的bean放在key中传输，则还需要实现Comparable接口，因为MapReduce框中的Shuffle过程要求对key必须能排序。详见后面排序案例。

@Overridepublic int compareTo(FlowBean o) {    // 倒序排列，从大到小    return this.sumFlow > o.getSumFlow() ? -1 : 1;}

2.3 序列化案例实操

1.需求

统计每一个手机号耗费的总上行流量、下行流量、总流量

(1)输入数据：hadoop.txt

113736230513192.196.100.1www.it.com248124681200213846544121192.196.100.226402003 13956435636192.196.100.313215122004 13966251146192.168.100.124004045 18271575951192.168.100.2www.it.com152721062006 84188413192.168.100.3www.it.com411614322007 13590439668192.168.100.411169542008 15910133277192.168.100.5www.hao123.com315629362009 13729199489192.168.100.6240020010 13630577991192.168.100.7www.shouhu.com696069020011 15043685818192.168.100.8www.baidu.com3659353820012 15959002129192.168.100.9www.it.com193818050013 13560439638192.168.100.10918493820014 13470253144192.168.100.1118018020015 13682846555192.168.100.12www.qq.com1938291020016 13992314666192.168.100.13www.gaga.com3008372020017 13509468723192.168.100.14www.qinghua.com733511034940418 18390173782192.168.100.15www.sogou.com9531241220019 13975057813192.168.100.16www.baidu.com110584824320020 13768778790192.168.100.1712012020021 13568436656192.168.100.18www.alibaba.com24812468120022 13568436656192.168.100.191116954200

(2)输入数据格式：

7 13560436666120.196.100.991116 954200id手机号码网络ip上行流量  下行流量     网络状态码

(3)期望输出数据格式

13560436666 1116      954 2070手机号码    上行流量        下行流量总流量

2.需求分析

需求分析

3.编写MapReduce程序

(1)编写流量统计的Bean对象

package com.wanghui.mapreduce.flowsum;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;// 1 实现writable接口public class FlowBean implements Writable{private long upFlow;private long downFlow;private long sumFlow;//2  反序列化时，需要反射调用空参构造函数，所以必须有public FlowBean() {super();}public FlowBean(long upFlow, long downFlow) {super();this.upFlow = upFlow;this.downFlow = downFlow;this.sumFlow = upFlow + downFlow;}//3  写序列化方法@Overridepublic void write(DataOutput out) throws IOException {out.writeLong(upFlow);out.writeLong(downFlow);out.writeLong(sumFlow);}//4 反序列化方法//5 反序列化方法读顺序必须和写序列化方法的写顺序必须一致@Overridepublic void readFields(DataInput in) throws IOException {this.upFlow  = in.readLong();this.downFlow = in.readLong();this.sumFlow = in.readLong();}// 6 编写toString方法，方便后续打印到文本@Overridepublic String toString() {return upFlow + "" + downFlow + "" + sumFlow;}public long getUpFlow() {return upFlow;}public void setUpFlow(long upFlow) {this.upFlow = upFlow;}public long getDownFlow() {return downFlow;}public void setDownFlow(long downFlow) {this.downFlow = downFlow;}public long getSumFlow() {return sumFlow;}public void setSumFlow(long sumFlow) {this.sumFlow = sumFlow;}}

(2)编写Mapper类

package com.wanghui.mapreduce.flowsum;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;public class FlowCountMapper extends Mapper {    FlowBean v = new FlowBean();    Text k = new Text();    @Override    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {        // 1 获取一行        String line = value.toString();        // 2 切割字段        String[] fields = line.split("");        // 3 封装对象        // 取出手机号码        String phoneNum = fields[1];        // 取出上行流量和下行流量        long upFlow = Long.parseLong(fields[fields.length - 3]);        long downFlow = Long.parseLong(fields[fields.length - 2]);        k.set(phoneNum);        v.set(downFlow, upFlow);        // 4 写出        context.write(k, v);    }}

(3)编写Reducer类

package com.wanghui.mapreduce.flowsum;import java.io.IOException;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;public class FlowCountReducer extends Reducer {    @Override    protected void reduce(Text key, Iterable values, Context context)            throws IOException, InterruptedException {        long sum_upFlow = 0;        long sum_downFlow = 0;        // 1 遍历所用bean，将其中的上行流量，下行流量分别累加        for (FlowBean flowBean : values) {            sum_upFlow += flowBean.getUpFlow();            sum_downFlow += flowBean.getDownFlow();        }        // 2 封装对象        FlowBean resultBean = new FlowBean(sum_upFlow, sum_downFlow);        // 3 写出        context.write(key, resultBean);    }}

(4)编写Driver驱动类

package com.wanghui.mapreduce.flowsum;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class FlowsumDriver {public static void main(String[] args) throws IllegalArgumentException, IOException, ClassNotFoundException, InterruptedException {// 输入输出路径需要根据自己电脑上实际的输入输出路径设置args = new String[] { "e:/input/inputflow", "e:/output1" };// 1 获取配置信息，或者job对象实例Configuration configuration = new Configuration();Job job = Job.getInstance(configuration);// 6 指定本程序的jar包所在的本地路径job.setJarByClass(FlowsumDriver.class);// 2 指定本业务job要使用的mapper/Reducer业务类job.setMapperClass(FlowCountMapper.class);job.setReducerClass(FlowCountReducer.class);// 3 指定mapper输出数据的kv类型job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(FlowBean.class);// 4 指定最终输出的数据的kv类型job.setOutputKeyClass(Text.class);job.setOutputValueClass(FlowBean.class);// 5 指定job的输入原始文件所在目录FileInputFormat.setInputPaths(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));// 7 将job中配置的相关参数，以及job所用的java类所在的jar包， 提交给yarn去运行boolean result = job.waitForCompletion(true);System.exit(result ? 0 : 1);}}

本章总结

思维导图下载：微云 ：https://share.weiyun.com/rEjXhjZn 密码：ichg3y

喜欢就关注我吧，长期更新！