- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 JSON与AVRO数据文件的相互转换
JSON是一种常用的数据交换格式，很多系统都会使用JSON作为数据接口返回的数据格式，然而，由于JSON数据中包含大量的字段名字，导致空间的严重浪费，尤其是数据文件较大的时候，而AVRO是一种更加紧凑的数据序列化系统，占用空间相对较少，更利于数据在网络当中的传输，本文介绍如何使用`avro-tools`工具对这两种文件格式进行转换。
2017-01-09 21:36:23
18485
6
原创 使用flume将avro文件上传到hdfs上
使用flume将avro文件上传到hdfs上场景介绍：把一个文件夹下的avro文件上传到hdfs上。source使用的是spooldir，sink使用的是hdfs。
2017-01-13 11:28:03
3737
原创 使用Maven对JAVA程序打包－带主类、带依赖
很多时候，我们需要对编写的程序进行打包，这个时候，我们可以借助一些项目构建工具，如maven, sbt, ant等，这里我使用的是maven。
2017-01-05 20:39:54
24485
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人