parquet java_Java操作parquet

这段时间因为项目，对parquet做了一系列研究，从写入跟踪到合并及spark使用等等场景。

选择parquet来对流数据进行序列化，用于后续离线分析的理由有以下几点：

1、流数据一般格式比较杂乱，可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。

2、网络流量数据量非常的庞大，即使过滤部分，还是非常吓人，parquet压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的，可以使用更高效的压缩编码(例如RunLength Encoding和Delta Encoding)进一步节约存储空间。

3、后续分析，只读取需要的列，支持向量运算，能够获取更好的扫描性能

写入parquet的过程，代码部分还是比较简单的

1、创建schema

public void builderSchema(List> list) throws IllegalArgumentException, IOException {

MessageTypeBuilder builder = Types.buildMessage();

list.get(0).forEach((key, value) -> {

builder.optional(PrimitiveTypeName.BINARY).as(OriginalType.UTF8).named(key);

});

File file = new File("./conf/parquet.schema");

if (file.exists()) {

FileUtils.readLines(file).forEach(str -