Spark实战2:实现impala的分桶查询
之前的文章中博主讲过对parquet文件进行了按照时间(年月日)的分区,是为了减少每次日常离线任务,所需要加载的数据量。这样按照year=2019/month=01/day=01的分区,可以使spark作业每天准确的加载前一天的数据进行计算。但是,还有一个问题在这样的分区下无法解决。那么,问题来了。
问题来了
虽然按照日期分区减少了数据量,但每天的数据量还是很大(2T左右)。
遇到需要精确抽取某一个key下所有数据或者部分数据这样的问题,还是无法快速的抽取数据的。
问题场景
需求
算法部门需要抽取某一个车辆在最近一周内上传的所有数据。
分析
看到这个需求时,我们可以敏锐的看到这就是一个hbase就可以满足的。当然其他方式也可以满足这个需求,但不如hbase快速。于是就有了多个解决方案:
- 可以从hbase中提取。可以使用良好设计的rowkey提取这个车辆近一周的数据。
- 可以用impala或者hive导出
- 可以用spark sql导出
分析结果
看到了上面的各种方案,那种方案最适合博主的实际环境呢?
集群实际环境:
博主所在公司的集群是一个CDH的混合集群,也就是说在集群上安装着hadoop(hdfs+yarn)、spark、impala、Zookeper、hbase、flame等等组件。
<