B05 - 042、MapReduce的序列化

初学耗时：1h

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

一、MapReduce的序列化
  1.1  概述。
  1.2  Writable 序列化接口。

---

记忆词：

  序列化、反序列化、Writable

---

 B05 - 999、大数据组件学习② - Hadoop

---

 ギ 舒适区ゾ || ♂ 累觉无爱 ♀

一、MapReduce的序列化

  1.1 ~ 概述。

• 序列化（Serialization）是指把结构化对象转化为字节流。
• 反序列化（Deserialization）是序列化的逆过程。
• 把字节流转为结构化对象。
• 当要在进程间传递对象或持久化对象的时候，就需要序列化对象成字节流，反之当要将接收到或从磁盘读取的字节流转换为对象，就要进行反序列化。
• Java 的序列化（Serializable）是一个重量级序列化框架，一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系…），不便于在网络中高效传输；所以，hadoop 自己开发了一套序列化机制（Writable），精简，高效。
• 不用像 java 对象类一样传输多层的父子关系，需要哪个属性就传输哪个属性值，大大的减少网络传输的开销。
• Writable 是 Hadoop 的序列化格式，hadoop 定义了这样一个 Writable 接口。
• 一个类要支持可序列化只需实现这个接口即可。

public interface Writable {
	void write(DataOutput out) throws IOException;
	void readFields(DataInput in) throws IOException;
}

  1.2 ~ Writable序列化接口。

• 如需要将自定义的 bean 放在 key 中传输，则还需要实现 comparable 接口，因为 mapreduce 框中的 shuffle 过程一定会对 key 进行排序。
• 此时，自定义的bean 实现的接口应该是：
  public class FlowBean implements WritableComparable
• 需要自己实现的方法是：

/**
* 反序列化的方法，反序列化时，从流中读取到的各个字段的顺序应该与序列化时
写出去的顺序保持一致
*/
@Override
public void readFields(DataInput in) throws IOException {
	upflow = in.readLong();
	dflow = in.readLong();
	sumflow = in.readLong();
}

/**
* 序列化的方法
*/
@Override
public void write(DataOutput out) throws IOException {
	out.writeLong(upflow);
	out.writeLong(dflow);
	out.writeLong(sumflow);
}

@Override
public int compareTo(FlowBean o) {
	//实现按照 sumflow 的大小倒序排序
	return sumflow>o.getSumflow()?-1:1;
}

• compareTo 方法用于将当前对象与方法的参数进行比较。
• 如果指定的数与参数相等返回 0。
• 如果指定的数小于参数返回 -1。
• 如果指定的数大于参数返回 1。
• 例如：o1.compareTo(o2)。返回正数的话，当前对象（调用 compareTo 方法的对象 o1）要排在比较对象（compareTo 传参对象 o2）后面；返回负数的话，放在前面。

东边日出西边雨，道是无晴却有晴。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

＾ 至此，MapReduce的序列化完成。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

在关系型是数据库中，有两个不同的事务同时操作数据库中同一表的同一行，不会引起冲突的是：

…
A、其中一个DELETE操作，一个是SELECT操作。
B、其中两个都是UPDATE。
C、其中一个是SELECT，一个是UPDATE。
D、其中一个SELECT。
E、其中一个是DELETE，另一个是UPDATE。
F、两个都是DELETE。
…
F

东边日出西边雨，道是无晴却有晴。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！

东边日出西边雨，道是无晴却有晴。