在C#中使用Google ProtoBuf

在C#中使用Google ProtoBuf

1. Google ProtoBuf

在TensorFlow,Caffe等深度学习框架中,都有用到这种序列化方法,不同于json的是,ProtoBuf的存储是基于二进制的,这样的好处是能够大幅节省空间,对于需要网络传输的场景更为重要,但是这样也带来一个问题,基于字符串存储的json对于完全不懂得json格式的人也是可读取的,通过观察文件的结构,甚至可以写一些简单的处理程序,然而protobuf的文件根本无法通过其他方法正常读取.

2.准备工作

1. Visual Studio
2. NuGet安装:Google.Protobuf和Google.Protobuf.Tools
3. 最终要的是,要准备好.proto文件

3. 关于proto文件

使用ProtoBuf主要有两个操作,序列化和解序列化,这两个操作都需要协议描述文件也就是.proto文件,如果要使用protobuf存储自定义的数据,就要自己编写proto文件,如果要读取其他的ProtoBuf序列化文件,例如TensorFlow中的模型文件.pb,就要先知道要读取的ProtoBuf序列化文件的协议,也就是要获得对应的.proto文件,这是一个必须条件,没有对应的proto文件,就无法正确打开ProtoBuf序列化文件.

4. 使用步骤

4.1 安装Google.Protobuf和Google.Protobuf.Tools的Nuget包

4.2 在Google.Protobuf.Tools下找到编译工具protoc.exe

4.3 准备好协议描述文件xx.proto,需要注意的是,proto文件之间可以互相引用,要正常使用,必须把所有相关的proto文件都准备好.

4.4 生成解码器

1. 建立两个文件夹,一个名为src,一个名为gen
2. 把准备好的proto文件全部放到src中
3. 运行命令:.\protoc.exe --proto_path=src --csharp_out=gen xx.proto
4. 把所有的proto文件都生成一遍.
5. 在gen文件夹中,会发现有等量的cs文件,这就是对应的解码器,我们要把他们放进自己的工程中.

4.5 打开安装了Google.Protobuf和Google.Protobuf.Tools的Nuget包的C#工程,把刚刚生成的解码器导入工程中.

5.关键代码

网络上有关C#和ProtoBuf 的文章比较混乱,大多数都不是基于Google的官方版本的,在这里我给出的建议是,使用官方的版本和API,这样不但能使用到最新的特性,还能保证读取的兼容性.
protobuf项目地址
在release中下载C#版本,解压后,在CSharp/src文件夹中有一个解决方案,打开它,就能得到在C#下使用Google官方的protobuf的实现的方法,代码很长,此处不赘述.

6.友情提示

有的教程中使用到了CodeGen这个工具,这个项目已经很久不更新了,现在已经不支持protobuf3.0,大家最好不要使用,还有一些教程使用到了其他的Nuget包,我这里也不推荐使用,使用这些第三方包都需要进行一些额外操作,或者需要在编写协议描述文件是进行一些特殊标注,这在解读其他程序生成的proto文件时会遇到很大的问题,总之,使用官方的包和代码,就没有问题了,而且比较简单.具体的API,在protocol-buffers官网可以找到.