大数据处理
打磨时光
我是打磨匠,关注软件开发,打磨产品,服务人类。
展开
-
avro 序列化框架
前言 Avro 是 Hadoop 的一个子项目,是Hadoop的创始人Doug Cutting(也是Lucene,Nutch等项目的创始人,膜拜)牵头开发。 Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。 它的主要特点有:支持二进制序列化方式,可以便捷,快速地处理大量数据;动态语言友好,Avro提供的机制使动态语言可以方便地处理Avro数据。 其他的序列化系统: Google的...原创 2019-06-26 21:59:47 · 963 阅读 · 0 评论 -
avro 数据结构
Avro Schema格式是JSON,所以编写起来非常简单,只需要了解Avro的规范即可,接下来简单介绍一些Avro的数据结构。 Primitive Types(原生类型):null,boolean,int,long,float,double,bytes,string 复合类型:包括6种 record,enum,array,map,union,fixed 1. record 这个和java中的“c...转载 2019-06-26 22:48:01 · 1262 阅读 · 0 评论