Java的序列化是在文件传输中必不可少的一部分。常用的Java序列化机制有Java默认的序列化机制,谷歌的protobuf等。而Java默认的序列化机制效率太低,protobuf要写protostuff文件,又很麻烦,所以我这篇文章要介绍的就是——protostuff.
1、protostuff简介
在序列化文件不超过10M的时候最好还是使用Java自带的序列化机制。文件较大的时候用protostuff传输更好。
protostuff也是谷歌的产品旗下的,它是从谷歌的protobuf而来的,相对于protobuf提供了更多的功能和更简易的用法。
2、使用protostuff
(1)添加依赖
这里用maven,直接添加依赖。如果你没有maven,在百度上搜索相应的jar包就好了。
<!--引入protostuff依赖-->
<dependency>
<groupId>io.protostuff</groupId>
<artifactId>protostuff-core</artifactId>
<version>1.6.0</version>
</dependency>
<dependency>
<groupId>io.protostuff</groupId>
<artifactId>protostuff-runtime</artifactId>
<version>1.6.0</version>
</dependency>
(2)定义要序列化的Bean
可以用注解等方式,这里就不再详细给出Bean的定义及实例化,详情可跳往Spring简述一
(3)
package org.boot.protostuff.util;
import io.protostuff.LinkedBuffer;
import io.protostuff.ProtostuffIOUtil;
import io.protostuff.Schema;
import io.protostuff.runtime.RuntimeSchema;
import java.util.Map;
import java.util.Objects;
import java.util.concurrent.ConcurrentHashMap;
public class ProtostuffUtils {
/**
* 避免每次序列化都重新申请Buffer空间
*/
private static LinkedBuffer buffer = LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE);
/**
* 缓存Schema
*/
private static Map<Class<?>, Schema<?>> schemaCache = new ConcurrentHashMap<>();
// 序列化方法,把指定对象序列化成字节数组
@SuppressWarnings("unchecked")
public static <T> byte[] serialize(T obj) {
Class<T> clazz = (Class<T>) obj.getClass();
Schema<T> schema = getSchema(clazz);
byte[] data;
try {
data = ProtostuffIOUtil.toByteArray(obj, schema, buffer);
} finally {
buffer.clear();
}
return data;
}
//反序列化方法,将字节数组反序列化成指定Class类型
public static <T> T deserialize(byte[] data, Class<T> clazz) {
Schema<T> schema = getSchema(clazz);
T obj = schema.newMessage();
ProtostuffIOUtil.mergeFrom(data, obj, schema);
return obj;
}
@SuppressWarnings("unchecked")
private static <T> Schema<T> getSchema(Class<T> clazz) {
Schema<T> schema = (Schema<T>) schemaCache.get(clazz);
if (Objects.isNull(schema)) {
//这个schema通过RuntimeSchema进行懒创建并缓存
//所以可以一直调用RuntimeSchema.getSchema(),这个方法是线程安全的
schema = RuntimeSchema.getSchema(clazz);
if (Objects.nonNull(schema)) {
schemaCache.put(clazz, schema);
}
}
return schema;
}
}
这里其实就是一个工具类,可以直接调用。下面我将对里面的方法一一讲解
(1)LinkedBUffer字段
社情一个内存空间用户缓存,LinkedBuffer.DEFAULT_BUFFER_SIZE 默认申请了512个字节,我们也可以使用MIN_BUFFER_SIZE ,256个字节。
(2)schemaCache字段
表示缓存的Schema。在这里代表了序列化对象的结构。
(3)serialize方法
序列化方法,西安获得需要序列化的类,然后为它分配一个缓存空间,然后获得此类的Schema.最后一行的代码ProtostuffIOUtil.toByteArray进行序列化。
public static <T> byte[] serialize(T obj) {
Class<T> clazz = (Class<T>) obj.getClass();
Schema<T> schema = getSchema(clazz);
byte[] data;
try {
data = ProtostuffIOUtil.toByteArray(obj, schema, buffer);
} finally {
buffer.clear();
}
return data;
}
(4)deserialize
表示反序列化,根据序列化对象获取其组织结构Schema。然后根据byte直接mergeFrom成对象
public static <T> T deserialize(byte[] data, Class<T> clazz) {
Schema<T> schema = getSchema(clazz);
T obj = schema.newMessage();
ProtostuffIOUtil.mergeFrom(data, obj, schema);
return obj;
}
(5)getSchema
获取序列化对象的组织结构
private static <T> Schema<T> getSchema(Class<T> clazz) {
Schema<T> schema = (Schema<T>) schemaCache.get(clazz);
if (Objects.isNull(schema)) {
//这个schema通过RuntimeSchema进行懒创建并缓存
//所以可以一直调用RuntimeSchema.getSchema(),这个方法是线程安全的
schema = RuntimeSchema.getSchema(clazz);
if (Objects.nonNull(schema)) {
schemaCache.put(clazz, schema);
}
}
return schema;
}
}
3、protoStuff实现序列化的原理
在上面的序列化方法中,我们可以看到其实最核心的就是
data = ProtostuffIOUtil.toByteArray(obj, schema, buffer);
我们进到这个方法里
public static <T> byte[] toByteArray(T message, io.protostuff.Schema<T> schema, LinkedBuffer buffer) {
if (buffer.start != buffer.offset) {
throw new IllegalArgumentException("Buffer previously used and had not been reset.");
} else {
ProtostuffOutput output = new ProtostuffOutput(buffer);
try {
schema.writeTo(output, message);
} catch (IOException var5) {
throw new RuntimeException("Serializing to a byte array threw an IOException (should never happen).", var5);
}
return output.toByteArray();
}
}
可以看到
schema.writeTo(output, message);
再追进去
public interface Schema<T> {
String getFieldName(int var1);
int getFieldNumber(String var1);
boolean isInitialized(T var1);
T newMessage();
String messageName();
String messageFullName();
Class<? super T> typeClass();
void mergeFrom(Input var1, T var2) throws IOException;
void writeTo(Output var1, T var2) throws IOException;
}
再追进去我们就会看到它其实就是把序列化对象信息保存成CharSequence ,然后进行序列化
同理追到反序列化。
putObject(message,offset,input,readString());
public static <T> void mergeFrom(byte[] data, T message, io.protostuff.Schema<T> schema) {
IOUtil.mergeFrom(data, 0, data.length, message, schema, true);
}
其实就是把序列化对象信息保存成CharSequence,然后序列化。
对于反序列化呢?核心ProtostuffIOUtil.mergeFrom(data, obj, schema);我们也追进去看看
static <T> void mergeFrom(byte[] data, int offset, int length, T message, Schema<T> schema, boolean decodeNestedMessageAsGroup) {
try {
ByteArrayInput input = new ByteArrayInput(data, offset, length, decodeNestedMessageAsGroup);
schema.mergeFrom(input, message);
input.checkLastTagWas(0);
} catch (ArrayIndexOutOfBoundsException var7) {
throw new RuntimeException("Truncated.", ProtobufException.truncatedMessage(var7));
} catch (IOException var8) {
throw new RuntimeException("Reading from a byte array threw an IOException (should never happen).", var8);
}
}
void mergeFrom(Input var1, T var2) throws IOException;
其实以上的跟程序的做法还是要自己再跟一变进一步了解才更深刻,protostuff还是主要以应用为主的。