avro
文章平均质量分 66
strongyoung88
记录学习点滴,勇攀技术高峰!
GitBook地址
/<a href="https://www.gitbook.com/@strongyoung">Qiang Yang/</a>
展开
-
Apache Avro 1.8.1 入门指南(Java)
Apache Avro是一个数据序列化系统。序列化就是将对象转换成二进制流,相应的反序列化就是将二进制流再转换成对应的对象。因此,Avro就是用来在传输数据之前,将对象转换成二进制流,然后此二进制流达到目标地址后,Avro再将二进制流转换成对象。原创 2016-12-23 15:33:18 · 8458 阅读 · 1 评论 -
JSON与AVRO数据文件的相互转换
JSON是一种常用的数据交换格式,很多系统都会使用JSON作为数据接口返回的数据格式,然而,由于JSON数据中包含大量的字段名字,导致空间的严重浪费,尤其是数据文件较大的时候,而AVRO是一种更加紧凑的数据序列化系统,占用空间相对较少,更利于数据在网络当中的传输,本文介绍如何使用`avro-tools`工具对这两种文件格式进行转换。原创 2017-01-09 21:36:23 · 18490 阅读 · 6 评论 -
使用flume将avro文件上传到hdfs上
使用flume将avro文件上传到hdfs上场景介绍:把一个文件夹下的avro文件上传到hdfs上。source使用的是spooldir,sink使用的是hdfs。原创 2017-01-13 11:28:03 · 3738 阅读 · 0 评论