impala parquet实现分桶查询

由于impala是没有分桶表的，但是会遇同一个partition中数据量非常巨大，但是某些查询只需要取出个别记录，就需要从海量数据中查询出一两条数据，这样就会造成资源浪费。
于是就需要有一种机制，像hive表中可以实现分桶查询：

create table teacher(id int,name string) clustered by (id) into 4 buckets

但是impala不支持分桶建表，所以，只能从另外一个角度去创建分桶查询。
主要思路：impala是支持分区建表的，可以取一个可以代表数据的唯一键，类似于主键的字段作为再分区字段，利用该字段进行哈希取模分区，将数据分布到若干个分区中，相当于将分区再建一层子分区，让子分区替代分桶机制，但是要求随机取出一条记录根据主键字段可以通过算法预先知道该数据在哪个子分区中。
以下举例具体说明：
一、生产场景
在生产中遇到以下情况，realinfo表数据是每天的明细数据，id是代表每个信息源个体的唯一标识，每个个体每10秒或者30秒内要向数据库发送一帧数据，所以每天数据量比较大，一天的parquet文件大小大概有300G左右，这样如果想查询某个id的某几帧数据，相当于从300G数据中查询一两条数据，查询速度比较慢。
二、解决步骤
（1）parquet文件建新分区
在生成parquet文件时原来的目录为****/realinfo/yearmonthday，代表某天的所有id的所有帧数据，impala建表时按照day分区，每天为一区。
但是分桶逻辑要在生成parquet数据是按照id再进行一次分区，就需要在par