hive常见的DML操作

一 Load数据

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=

val2 ...)]

filepath: 如果是Local则是本地文件,否则就是HDFS文件

OVERWRITE：如果该表有数据是否覆盖

PARTITION: 一般适用于分区表根据文件加载数据，直接加载到对应的分区里面

 

二 Insert 数据
2.1 单表覆盖插入数据

INSERT OVERW TABLE t [PARTITION（col1=val1,…..）]

[IF NOT EXISTS] SELECT 子句

2.2 单表追加插入数据

INSERT INTO TABLE t [PARTITION（col1=val1,…..）]

[IF NOT EXISTS] SELECT 子句

 

2.3 单表覆盖插入数据且分区动态

INSERT OVERWRITE TABLE t PARTITION (col1,col2,…..)

SELECT * FROM 表

它会根据PARITITION的个数然后从查询中取出后N个字段，填充到分区中

也可以将全部子段查询出来，然后再在最后处理分区字段，比如

INSERT OVERWRITE ABLE t PARTITION (col1,col2)

SELECT field1,field2,field3,……col1,col2 FROM 表

 

2.4单表追加插入数据且分区动态

INSERT INTO TABLE t PARTITION (col1,col2,…..)

SELECT * FROM 表

 

2.5 Multi Inserts

FROM from_statement

INSERT OVERWRITE TABLE table1 [PARTITION（col1=val1,

col2=val2）[IF NOT EXISTS]] SELECT 语句

INSERT INTO TABLE table2 [PARTITION（col1,col2）[IF NOT EXISTS]] SELECT 语句

INSERT OVERWRITE TABLE t table2 [PARTITION（col1,col2）[IF NOT EXISTS]] SELECT 语句

可同时向table1和table2插入数据，只不过如果一张表INSERT INTO的时候，那么你不能再INSERT TO这张表，但是INSERT OVERWRITE就可以

 

 

 

三 根据查询将结果写入文件系统

3.1 将结果写入本地文件

INSERT OVERWRITE LOCAL DIRECTORY '/opt/data/'SELECT * FROM movie;

3.2 将结果写入HDFS文件

INSERT OVERWRITE DIRECTORY'hdfs://hdfs-cluster/user/hadoop

/output' SELECT * FROM movie;

 

四 根据SQL插入数据到表里

比如你根据其他分区表将某个分区的数据查询出来，然后插入到当前表。

CREATE TABLE students (name VARCHAR(64), age INT,gpa DECIMAL(3, 2))

  CLUSTEREDBY (age) INTO 2 BUCKETS STORED AS ORC;

 

INSERT INTO TABLE students

  VALUES('fred flintstone', 35, 1.28), ('barney rubble', 32, 2.32);