java地板算法_在Java中创建镶木地板文件

小编典典

不建议使用ParquetWriter的构造函数(1.8.1)，但不建议使用ParquetWriter本身，您仍然可以通过扩展其中的abstract

Builder子类来创建ParquetWriter。

public static class Builder extends ParquetWriter.Builder {

private MessageType type = null;

private Map extraMetaData = new HashMap();

private Builder(Path file) {

super(file);

}

public Builder withType(MessageType type) {

this.type = type;

return this;

}

public Builder withExtraMetaData(Map extraMetaData) {

this.extraMetaData = extraMetaData;

return this;

}

@Override

protected Builder self() {

return this;

}

@Override

protected WriteSupport getWriteSupport(Configuration conf) {

return new GroupWriteSupport(type, extraMetaData);

}

}

如果您不想使用Group和GroupWriteSupport(捆绑在Parquet中，但仅用作数据模型实现的示例)，则可以使用Avro，协议缓冲区或Thrift内存中数据模型。这是一个使用Avro编写Parquet的示例：

try (ParquetWriter writer = AvroParquetWriter

.builder(fileToWrite)

.withSchema(schema)

.withConf(new Configuration())

.withCompressionCodec(CompressionCodecName.SNAPPY)

.build()) {

for (GenericData.Record record : recordsToWrite) {

writer.write(record);

}

}

您将需要以下依赖项：

org.apache.parquet

parquet-avro

1.8.1

org.apache.parquet

parquet-hadoop

1.8.1

完整的例子在这里。

2020-10-25