HADOOP IO详解——序列化（1）

什么是IO? I:input 输入 通常做读取操作（将不同数据源的数据读入到内存中，也叫读取流）

O:output 输出 通常做写入操作（将内存中的数据写入到不同的数据源，也叫写入流）（出内存到别的地方）

序列化的作用是什么？1 数据通信 2 持久化存储

为什么不直接接使用java的序列化和反序列化？原因如下

（1）Hadoop的序列化机制与Java的序列化机制不同，它将对象序列化到流中，值得一提的是java的序列化机制是不断的创建对象，但在Hadoop的序列化机制中，用户可以复用对象，这样就减少了java对象的分配和回收，提高了应用效率。  

（2）Hadoop在集群之间进行通讯或者RPC调用的时候，需要序列化，而且要求序列化要快，且体积要小，占用带宽要小。所以必须理解Hadoop的序列化机制。

Hadoop序列化的要求 1、紧凑：Hadoop中最稀缺的资源是宽带，所以紧凑的序列化机制可以充分的利用宽带。 2、快速：通信时大量使用序列化机制，因此，需要减少序列化和反序列化的开销。 3、可扩展：随着通信协议的升级而可升级。 4、互操作：支持不同开发语言的通信。

Hadoop是如何实现序列化机制的？      

 Hadoop通过Writable接口实现的序列化机制，不过没有排序的功能，所以和java中的Comparable接口合并，

提供一个接口WritableComparable。 Writable接口提供两个方法(write和readFields)。

Writable接口  

所有实现了Writable接口的类都可以被序列化和反序列化。

Writable 接口中定义了两个方法，分别为write(DataOutput out)和readFields(DataInput in)。write 用于将对象状态写入二进制格式的DataOutput流，readFields 用于从二进制格式的 DataInput 流中读取对象状态    

package java.lang;  
import java.util.*;      
public interface Comparable {  
	/** 
	* 将this对象和对象o进行比较，约定：返回负数为小于，零为大于，整数为大于 
	*/  
	public int compareTo(T o);  
}

自定义一个TextPair

importjava.io.*;
importorg.apache.hadoop.io.*;
public class TextPair implements WritableComparable {
	private	Text first;//Text 类型的实例变量 first
	private	Text second;//Text 类型的实例变量 second
	//空参数类型的构造方法
	public TextPair() {
		set(newText(),newText());
	}
	//String类型的构造方法
	public TextPair(String first, String second) {
		set(new Text(first),new Text(second));
	}
	//Text类型的构造方法
	public TextPair(Text first, Text second) {
		set(first, second);
	}
	
	public void set(Text first, Text second) {
		this.first = first;
		this.second = second;
	}
	
	public Text getFirst() {
		return first;
	}
	
	public Text getSecond() {
		return second;
	}
	
	//将对象转换为字节流并写入到输出流out中
	@Override
	public void write(DataOutput out)throwsIOException {
		first.write(out);
		second.write(out);
	}
	
	//从输入流in中读取字节流反序列化为对象
	@Override
	public void readFields(DataInput in)throwsIOException {
		first.readFields(in);
		second.readFields(in);
	}
	
	@Override
	public int hashCode() {
		return first.hashCode() *163+ second.hashCode();
	}
	
	
	@Override
	public boolean equals(Object o) {
		if(o instance of TextPair) {
			TextPair tp = (TextPair) o;
			return first.equals(tp.first) && second.equals(tp.second);
		}
			return false;
	}
	
	@Override
	publicString toString() {
		return first +"\t"+ second;
	}
	
	//排序，输出需要排序的话，先比较key的值后比较value的值
//compareTo方法是一位一位的比较字符串对应的ASCII码值

	@Override
	public int compareTo(TextPair tp) {
		int cmp = first.compareTo(tp.first); 
		if(cmp !=0) {//如果cmp=0表示两个字符串完全相同
			return cmp;
		}else{
		return second.compareTo(tp.second);
                }

	}
}