Spark实战2：实现impala的分桶查询

之前的文章中博主讲过对parquet文件进行了按照时间（年月日）的分区，是为了减少每次日常离线任务，所需要加载的数据量。这样按照year=2019/month=01/day=01的分区，可以使spark作业每天准确的加载前一天的数据进行计算。但是，还有一个问题在这样的分区下无法解决。那么，问题来了。

问题来了

虽然按照日期分区减少了数据量，但每天的数据量还是很大（2T左右）。
遇到需要精确抽取某一个key下所有数据或者部分数据这样的问题，还是无法快速的抽取数据的。

问题场景

需求

算法部门需要抽取某一个车辆在最近一周内上传的所有数据。

分析

看到这个需求时，我们可以敏锐的看到这就是一个hbase就可以满足的。当然其他方式也可以满足这个需求，但不如hbase快速。于是就有了多个解决方案：

1. 可以从hbase中提取。可以使用良好设计的rowkey提取这个车辆近一周的数据。
2. 可以用impala或者hive导出
3. 可以用spark sql导出

分析结果

看到了上面的各种方案，那种方案最适合博主的实际环境呢？
集群实际环境：
博主所在公司的集群是一个CDH的混合集群，也就是说在集群上安装着hadoop（hdfs+yarn）、spark、impala、Zookeper、hbase、flame等等组件。
<