记一次后台存储方案优化

序列化方案

1. Json
2. protobuf
3. JDK Serializable

测试方法

 String line = "{很复杂的json，需要保密}";
        DataStructure d = json.fromJson(line, DataStructure.class);
        long time = System.currentTimeMillis();
        long size = 0;
        for(int i = 0;i< 1000000; i++){
            d.setCostTime(i);
            String b = json.toJson(d);
            size = size + b.getBytes().length;
        }

        System.out.println("time :" + (System.currentTimeMillis() - time) +",and size:" + size);

测试结果

• 序列化：

方式	耗时（毫秒）	结构化存储数据大小（byte）
json	8954	777888890
protobuf2	5255	517983488
protobuf3	3247	357983488
jdk	7281	1067000000

* 反序列化：

方式	耗时（毫秒）
json	5107
protobuf2	4082
protobuf3	3123
jdk	22779

插曲

测试过程种出现过一次异常：

序列化：

方式	耗时（毫秒）	结构化存储数据大小（byte）
protobuf2	28653	517983488
protobuf3	25878	357983488

反序列化：

方式	耗时（毫秒）
protobuf3	22779

经查，由于在Java Object 转 pb Object 过程中，使用了反射

Class<? extends DataStructure> clazz = DataStructure.class;
        Field[] fields = clazz.getDeclaredFields();
        for(Field field : fields){
            String name = field.getName();
            String up = captureName(name);
            if(field.getAnnotation(SerializableTag.class) != null)
            //填入数据
        }

这段代码导致速度下降了6～8倍

总结

1. protobuf 性能全面优于 Json，速度加快大概在30%～40% 左右，存储数据量下降30%+
2. 由于项目中的 Java Object 带Map属性在使用支持Map的 protobuf 3.0 时，性能还能有大幅提升 （目前spark 只支持2.5 Map 使用jdk序列化，再以byte方式序列化到pb）
3. 线上环境全面使用 set，get 方法替代反射注入，提升性能（不要怕麻烦）。