Parquet_1. 使用谓词下推和映射来优化 Job

文章中涉及的Github源码 ： https://github.com/Hanmourang/hiped2/blob/master/src/main/java/hip/ch3/parquet/AvroProjectionParquetMapReduce.java.

映射下推[projectoin pushdown]和谓词下推[predicates pushdown]包括一个执行引擎，用来将映射和谓词推送到存储格式中以便于在底层尽可能来优化操作。结果就是提高了时间和空间上的效率，由于与查询无关的列都会被摒弃，并且不需要提供给执行引擎。

这对柱状存储无疑是非常有效的，因为 Pushdown 允许存储格式跳过整个与查询无关的列组，并且柱状存储格式操作起来也更加高效。

接下来我们将看看如果在 Hadoop 管道中使用 Pushdown。

在编码之前，你需要在 Hive 和 Pig 中启动对 Parquet 提供的开箱即用的投影/映射下推。在 MapReduce 程序中，有些手动操作你需要加入到 Driver 代码中来启动下推操作。从下面的高亮部分可以看到具体操作。

Hive --> Predicates [set hive.optimize.ppd = true; ]