[Hive]Hive静态分区与动态分区

本文介绍了Hive中的静态和动态分区。静态分区适用于值确定的情况,例如每日销售额统计,通过预定义的分区值进行数据插入。动态分区则根据输入数据的不确定性来确定分区,适用于二级类目等多值场景。文中通过具体业务场景和Hive脚本展示了两种分区的实现方式,并提及了动态分区的相关配置选项。
摘要由CSDN通过智能技术生成

1. 静态分区

若分区的值是确定的,那么称为静态分区。下面举例一个业务场景:

统计程序每天都需要统计1号店中由精准化推荐带来的销售额,日期是确定的,现在需要将每天统计好的销售额数据插入到指定的日期分区中

1.1. 实现方式

参见如下的脚本:

hive -e "
--设置Hive Job任务队列
set mapred.job.queue.name=pms;

--创建精准化销售额数据汇总表
create table if not exists pms.rpt_rcmd_gmv 
(
    page_name       string,
    section_name    string,
    order_count     bigint,
    order_amount    double
) 
PARTITIONED BY (ds string)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '\t' 
LINES TERMINATED BY '\n' 
STORED AS TEXTFILE;"

#----------------------------------------------

# 获取当天日期
date=`date +"%Y-%m-%d"`

hive -e "
--设置Hive Job任务队列
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值