Hive Parquet配置

parquet的配置主要包括：

parquet.compression

parquet.block.size

parquet.page.size

等，详见：

https://github.com/Parquet/parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/ParquetOutputFormat.java

这些配置在Hive里面直接set就好，比如：

set parquet.compression=snappy

但是block size比较难设置。

首先，关于parquet的数据格式:

https://github.com/Parquet/parquet-format

block size对应于row group size的，但是由不完全是同一个东西，

block size是grow group在内存中的buffer size，实际写到磁盘之后，并没有这么大。比如我就遇到，block size设置为512MB，然后通过metadata去读block size只有100多MB。

而且在hive中，如果你是通过另外一张表，通过insert into/overwrite .... select....来创建parquet的话，光设置parquet.block.size是没用的，还需要保证hive的split size够大：

http://blog.javachen.com/2013/09/04/how-to-decide-map-number/

http://blog.csdn.net/moon_yang_bj/article/details/17901371

也就是说，parquet.block.size、dfs.block.size(hadoop 2.x 中是dfs.blocksize)、mapred.max.split.size都要设大才行。