将hive查询到的结果插入动态分区表

如题,将hive查询到的结果插入动态分区表时,可以指定其中一列或几列为分区字段,剩下的几列为表中内容。

首先,需要在查询开始进行若干设置:

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=1000;
set io.sort.mb=1024;


然后

INSERT OVERWRITE TABLE T PARTITION (ds='20170524155200', hr)
SELECT 
     key
   , value
   , ds
   , hr 
FROM oldtable 
WHERE 
  ds IS NOT NULL
  AND hr>10
;

 

另外,向hive中传参可以采用如下方式:

myconf='20170524175200'

hive -e  "INSERT OVERWRITE TABLE T PARTITION (ds='${myconf}', hr)
SELECT key, value,  hr FROM srcpart WHERE ds is not null and hr>10;"

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive是一种基于Hadoop的数据仓库工具,它提供了一种类似于SQL的查询语言HQL来对数据进行处理。当向Hive插入数据时,可以使用动态分区来指定数据应该存储在哪些分区动态分区是一种可以根据数据行的某些条件动态生成的分区键,通常用于将数据根据不同的条件进行分类存储。 要向Hive插入数据到动态分区,可以按照以下步骤进行操作: 1. 创建包含动态分区:首先,需要创建一个Hive,并指定其的分区键。这些分区键可以根据数据行的条件动态生成。 ```sql CREATE TABLE your_table ( -- 其他列定义 ) PARTITIONED BY (dynamic_partition_key column_type) ``` 在上面的语句,`your_table`是的名称,`dynamic_partition_key`是动态分区的键名,`column_type`是该键对应的列类型。 2. 插入数据到:使用INSERT INTO语句将数据插入。在INSERT INTO语句,可以使用VALUES或SELECT语句来指定要插入的数据。 ```sql INSERT INTO TABLE your_table PARTITION (dynamic_partition_key = value) VALUES (value1, value2, ...); ``` 或者 ```sql INSERT INTO TABLE your_table SELECT value1, value2, ... FROM other_table; ``` 在上面的语句,`value`是动态分区键的值,可以根据数据行的条件动态生成。你可以根据实际情况替换为实际的值或查询结果。 需要注意的是,动态分区键的值可以是任何有效的Hive列类型,包括字符串、整数、日期等。同时,动态分区键的值需要在插入数据之前进行适当的处理和转换,以确保其符合分区的条件和要求。 通过上述步骤,你可以将数据插入Hive动态分区。请确保在插入数据之前已经创建了包含动态分区,并根据实际情况调整结构和插入语句的列类型和值。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值