Hive Insert命令

Hive 加载数据主要有两种方式,一种是用Load直接加载文件,可以是从本地文件系统,也可以是从HDFS文件系统;Load方式不做任何的转换,只是纯粹的文件复制移动,关于Load加载详情,请见我的另一篇文章: http://blog.csdn.net/post_yuan/article/details/62883565

除了Load加载数据,Hive也支持Insert命令,下面就来详细介绍Hive不同的版本在Insert方面的支持和改进,

标准语法

INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)](z, y) select_statement1 FROM from_statement;

高级语法(Multiple Inserts)

FROM from_statement
INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1
[INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2]
[INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2];

高级语法(Dynamic Partition Inserts)

INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;
INSERT INTO TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;

描述

  • INSERT OVERWRITE会覆盖表或分区中已存在的数据
  • INSERT INTO以追加数据的方式插入到表或分区,原有数据不会删除
  • Insert可以插入表或分区,如果表是分区表,则Insert时需要指定插入到哪个分区
  • 从Hive 1.1.0版本,TABLE关键字是可选的
  • 从Hive 1.2.0版本,INSERT INTO可以指定插入到哪些字段中,如INSERT INTO t(x,y,z)

动态分区插入

当INSERT往分区表插入数据时,我们可以指定分区字段名和值,分区字段的值是可选的,如果指定分区字段值,我们称之为静态分区,否则称之为动态分区。动态分区创建根据插入数据的列决定。在Hive 0.9.0版本以前,动态分区插入默认是关闭的,在Hive 0.9.0版本及更高版本,默认是打开的。关于动态分区插入,有几个相关的配置:

参数默认值注释
hive.exec.dynamic.partitiontrue设置为true表示启用动态分区插入
hive.exec.dynamic.partition.modestrictstrict模式时用户必须至少指定一个静态分区;nonstrict模式时所有分区都可能是动态分区
hive.exec.max.dynamic.partitions.pernode100每个mapper/reducer节点允许创建的最大动态分区数
hive.exec.max.dynamic.partitions1000总共允许创建的最大动态分区数
hive.exec.max.created.files100000一个MR job中允许创建多少个HDFS文件
hive.error.on.empty.partitionfalse当动态分区插入产生空值时是否抛出异常

从查询语句写入到文件系统

Hive支持从查询语句直接写入到文件系统,此处不做详细介绍

INSERT VALUES

Hive 0.14版本开始,支持INSERT…VALUES语法,具体语法如下,

INSERT INTO TABLE tablename [PARTITION (partcol1[=val1], partcol2[=val2] ...)] VALUES values_row [, values_row ...]

values_row:
(value [, value ...])
value可以为null或者任意SQL语法
  • 7
    点赞
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据源的港湾

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值