使用 Hive partitioned by range values less then方式, 根据日期创建一张以月份为分区的hive表,其中分区字段为 sale_date
,并使用 range 分区方式的示例:
CREATE TABLE sales (
sale_id INT,
sale_amount DOUBLE
)
PARTITIONED BY (sale_date STRING)
PARTITIONED BY RANGE (sale_date)
(
PARTITION p2022_jan VALUES LESS THAN ('2022-02-01'),
PARTITION p2022_feb VALUES LESS THAN ('2022-03-01'),
PARTITION p2022_mar VALUES LESS THAN ('2022-04-01')
... 依此追加日期
);
ALTER TABLE sales CLUSTERED BY (sale_id) INTO 32 BUCKETS;
SET hive.exec.dynamic.partition.mode=nonstrict;
INSERT INTO sales PARTITION (sale_date)
SELECT sale_id, sale_amount, date_format(sale_date, 'yyyy-MM-dd')
FROM sales_data;
在上面的示例中,我们首先创建了一个名为 sales
的表,并在 PARTITIONED BY
子句中指定了一个分区字段 sale_date
。接着,我们使用 RANGE
关键字来指定分区方式,每个分区代表一个月。最后,在插入数据时,我们使用 date_format
函数从 sale_date
字段中获取年月日,并指定到分区字段 sale_date
中。