Avro学习笔记

之前的一个项目, 有一个解决数据流传输的解决方案, 通过对传输数据的编解码, 以Byte的方式在网络中流转. 数据的提供方, 将所有传输的每一条消息组成一个对象, 经过一个由Avro实现的公共通用的API, 将这个对象对应的Schema转换成Json对象, 再将空上Json对象生成一个由Byte组成的二进制信息流, 放到一个公共的消息总线上. 下游客户/组织, 可接收消息, 根据对应的消息类型, 进行过滤区分对待, 收到之后要进行解码, 将Byte对象由Avro实现的公共API解析成一个schema,然后将这个schema转成对应的可读对象.易于操作和后期的扩展维护.

由此, 我想了解一下, 什么是Avro? 在这个解决方案中, 对方是如何使用的? 如何做到的? 所以, 此篇文章将主要阐述这几个问题.

什么是Avro

它是一种远程过程调用和数据序列化的框架.

是在Apache的Hadoop项目之内开发的。它使用JSON来定义数据类型和通讯协议，使用压缩二进制格式来序列化数据。它主要用于Hadoop，它可以为持久化数据提供一种序列化格式，并为Hadoop节点间及从客户端程序到Hadoop服务的通讯提供一种电报格式。

它类似于Thrift，但当数据库模式改变时，它不要求运行代码生成程序，除非是对静态类型的语言。