什么是IO? I:input 输入 通常做读取操作(将不同数据源的数据读入到内存中,也叫读取流)
O:output 输出 通常做写入操作(将内存中的数据写入到不同的数据源,也叫写入流)(出内存到别的地方)
序列化的作用是什么?1 数据通信 2 持久化存储
为什么不直接接使用java的序列化和反序列化?原因如下
(1)Hadoop的序列化机制与Java的序列化机制不同,它将对象序列化到流中,值得一提的是java的序列化机制是不断的创建对象,但在Hadoop的序列化机制中,用户可以复用对象,这样就减少了java对象的分配和回收,提高了应用效率。
(2)Hadoop在集群之间进行通讯或者RPC调用的时候,需要序列化,而且要求序列化要快,且体积要小,占用带宽要小。所以必须理解Hadoop的序列化机制。
Hadoop序列化的要求 1、紧凑:Hadoop中最稀缺的资源是宽带,所以紧凑的序列化机制可以充分的利用宽带。 2、快速:通信时大量使用序列化机制,因此,需要减少序列化和反序列化的开销。 3、可扩展:随着通信协议的升级而可升级。 4、互操作:支持不同开发语言的通信。
Hadoop是如何实现序列化机制的?
Hadoop通过Writable接口实现的序列化机制,不过没有排序的功能,所以和java中的Comparable接口合并,
提供一个接口WritableComparable。 Writable接口提供两个方法(write和readFields)。
Writable接口
所有实现了Writable接口的类都可以被序列化和反序列化。
Writable 接口中定义了两个方法,分别为write(DataOutput out)和readFields(DataInput in)。write 用于将对象状态写入二进制格式的DataOutput流,readFields 用于从二进制格式的 DataInput 流中读取对象状态
package java.lang; import java.util.*; public interface Comparable { /** * 将this对象和对象o进行比较,约定:返回负数为小于,零为大于,整数为大于 */ public int compareTo(T o); }
自定义一个TextPair
importjava.io.*; importorg.apache.hadoop.io.*; public class TextPair implements WritableComparable { private Text first;//Text 类型的实例变量 first private Text second;//Text 类型的实例变量 second //空参数类型的构造方法 public TextPair() { set(newText(),newText()); } //String类型的构造方法 public TextPair(String first, String second) { set(new Text(first),new Text(second)); } //Text类型的构造方法 public TextPair(Text first, Text second) { set(first, second); } public void set(Text first, Text second) { this.first = first; this.second = second; } public Text getFirst() { return first; } public Text getSecond() { return second; } //将对象转换为字节流并写入到输出流out中 @Override public void write(DataOutput out)throwsIOException { first.write(out); second.write(out); } //从输入流in中读取字节流反序列化为对象 @Override public void readFields(DataInput in)throwsIOException { first.readFields(in); second.readFields(in); } @Override public int hashCode() { return first.hashCode() *163+ second.hashCode(); } @Override public boolean equals(Object o) { if(o instance of TextPair) { TextPair tp = (TextPair) o; return first.equals(tp.first) && second.equals(tp.second); } return false; } @Override publicString toString() { return first +"\t"+ second; } //排序,输出需要排序的话,先比较key的值后比较value的值 //compareTo方法是一位一位的比较字符串对应的ASCII码值 @Override public int compareTo(TextPair tp) { int cmp = first.compareTo(tp.first); if(cmp !=0) {//如果cmp=0表示两个字符串完全相同 return cmp; }else{ return second.compareTo(tp.second); } } }