hive的between-and问题

最新推荐文章于 2024-09-06 22:09:56 发布

Sin_Geek

最新推荐文章于 2024-09-06 22:09:56 发布

阅读量2.2w

点赞数 5

分类专栏：大数据技术文章标签： between 头尾 and

本文链接：https://blog.csdn.net/sin_geek/article/details/101010642

版权

在Hive 1.2.1版本中，使用between-and查询parquet格式的表时，STRING类型日期字段的筛选不包含头尾。实验显示，当查询分区时功能正常，而textfile格式的表则不受影响。可能是由于Hive对parquet格式的底层处理存在BUG。建议使用大于等于和小于等于操作来规避此问题。

摘要由CSDN通过智能技术生成

背景

hive版本1.2.1

存储格式parquet

筛选字段为STRING类型的日期，如’20190918’时出现不包含头尾的现象。

实验

先分别创建parquet格式T1表与textfile格式的T2表，

CREATE TABLE IF NOT EXISTS TEMP.t1
(
a   STRING 
) 
Partitioned by (BDW_Data_Dt STRING)
Stored As Parquet;

CREATE TABLE IF NOT EXISTS TEMP.t2
(
a   STRING 
)
Partitioned by (BDW_Data_Dt STRING)
STORED AS TEXTFILE 
;

分别往三个分区插入与分区相同日期的数据

insert overwrite table TEMP.t1 partition(BDW_Data_Dt='20190101') values('20190101');
insert overwrite table TEMP.t1 partition(BDW_Data_Dt='20191201') values('20191201');
insert overwrite table TEMP.t1 partition(BDW_Data_Dt='20191231') values('20191231');

insert overwrite table TEMP.t2 partition(BDW_Data_Dt='20190101') values('20190101');
insert overwrite table TEMP.t2 partition(BDW_D