google序列化协议protobuf底层源码分析

序列化/反序列化

• 序列化
  将对象序列化为二进制数据【字节数组】，一般也将序列化成为编码，主要用于网络传输、数据持久化
• 反序列化
  将从网络上、磁盘等读取的字节数组还原为原始的对象，一般也将反序列化成为解码，主要用于网络传输对象的解码，一边完成远程调用

序列化协议需要考虑什么

• 序列化之后码流大的大小【占用网络带宽】字节长度，这就是金钱
• 序列化与反序列化的性能【cpu资源的占用】
• 是否支持跨语言

Java自带的序列化类

• ObjectInputStream：反序列化
• ObjectOutputStream：序列化
  类需要实现Serializable接口，标记该类的对象是可以被序列化的

Protobuf序列化

• 格式

option java_package = "com.netty.protobuf"
option java_outer_classname = "TeacherSerializer"
message Teacher{
	required int64 teacherId = 1;
	required int32 age = 2;
	required string name = 3;
	repeated string courses = 4;
}

java_package : Teacher序列化之后的包路径
java_outer_classname：序列化之后类的名称
required：序列化的时候必须要设置的属性
repeated：一个list，一个数组
1，2，3，4：序列化值的序列id，是按照这个顺序来序列化的

通过提供的exe工具，来生成java可序列化的类。

Protobuf特性

• 生成的序列化器【辅助类】中保存了需要序列化的对象的类信息
  java自带的序列化类，序列化之后的字节数组会比protobuf生成的大很多，将近10倍，那是因为它不仅保存了数据本身的信息，同时也保存了很多额外的信息，这些信息是为了反序列化用的，记录了类导入的包，有哪些属性，属性的名称类型等，这些都保存到序列化的字节数组中。protobuf也需要这些类信息，但是它并不需要放到字节数组中，因为根据它自动生成的序列化器，然后根据原先定义的属性的顺序和类型信息等，可以反序列化出来。
• protobuf的数据类型是动态伸缩的
  例如：在内存中，int类型一定占4个字节，但是在protobuf中，int类型是占1-5个字节【age 120 只占了一个字节，只动态分配了一个字节的存储】在大量的数据分析的基础上，一般int类型不会占满4个字节，有很多高位字节并用不到。long占1~9个字节

Protobuf核心代码解析

序列化核心代码

public void writeRawVarint32(int value) throws IOException {
   while (true) {
     //0x7F：二进制0111 111,十进制为127
     //~0x7F：二进制1000 000,十进制128
     //value & ~0x7F：?000 0000
     //value是否小于128，小于则一个字节就可以装下value的数据了
     if ((value & ~0x7F) == 0) {
       //将value的值直接转成1个字节
       writeRawByte(value);
       return;
     } else {
       //value的值用1个字节装不下，申请第二个字节[高位字符]
       //value & 0x7F：0??? ???? 意味着第8位肯定是0,获取到了1~7位的数据
       //0x80：1000 0000
       //(value & 0x7F) | 0x80：1??? ????,意味着一个字节的最高位写成了1
       //protobuf把1~7位作为数据为,第8位作为符号位,第8位表示后面是否还有数据
       //第8位为1表示一个字节装不下了,还需要再申请一个字节
       writeRawByte((value & 0x7F) | 0x80);
       //右移7位，再递归,判断第二位的数据是否一个字节装得下......
       value >>>= 7;
     }
   }
 }
   /** Write a single byte. */
 public void writeRawByte(final byte value) throws IOException {
   if (position == limit) {
     refreshBuffer();
   }

   buffer[position++] = value;
 }
 
 private void refreshBuffer() throws IOException {
   if (output == null) {
     // We're writing to a single buffer.
     throw new OutOfSpaceException();
   }

   // Since we have an output stream, this is our buffer
   // and buffer offset == 0
   output.write(buffer, 0, position);
   position = 0;
 }