Hive - INSERT INTO vs INSERT OVERWRITE区别
两者的异同:
insert into 与 insert overwrite 都可以向hive表中插入数据,但是insert into直接追加到表中数据的尾部,
而insert overwrite会重写数据,既先进行删除,再写入。如果存在分区的情况,insert overwrite会只重写当前分区数据。
在使用Hive时,我们经常遇到两种不同类型的insert HiveQL命令insert INTO和insert OVERWRITE
来将数据加载到表和分区中。在这篇文章中,我将用不同的Hive SQL查询示例来解释Hive INSERT INTO vs INSERT OVERWRITE语句之间的区别。
Hive在0.8版本中首先引入了INSERT INTO
功能,用于将数据/记录/行追加到表或分区中。这不会修改现有的数据INSERT OVERWRITE用于替换表或分区中的任何现有数据,并插入新行。
在处理分区时,还可以使用IF NOT exists
选项指定只在分区存在时覆盖该分区。
INSERT OVERWRITE with PARTITION子句从指定的分区中删除记录,并在不影响其他分区的情况下将新记录插入该分区
。
INSERT OVERWRITE支持INSERT INTO指定的所有示例
INSERT INTO 例子
INSERT INTO employee VALUES
(11,'Ram',50,'M');
INSERT INTO employee VALUES
(13,'Mari',51,'M'),
(14,'Pat',34,'F');
INSERT INTO EMP.EMPLOYEE(id,name) VALUES
(20,'Bhavi');
INSERT INTO employee_tmp SELECT * FROM employee;
INSERT INTO zipcodes PARTITION(state='FL') VALUES
(891,'US','TAMPA',33605);
INSERT INTO zipcodes PARTITION(state) VALUES
(891,'US','TAMPA',33605,'FL');
INSERT OVERWRITE 例子
INSERT OVERWRITE TABLE EMP.EMPLOYEE VALUES (11,'Ram',51,'M');
INSERT OVERWRITE TABLE zipcodes PARTITION(state='FL') VALUES
(896,'US','TAMPA',33607);
INSERT OVERWRITE TABLE zipcodes
VALUES (896,'US','TAMPA',33607,'FL');
INSERT OVERWRITE TABLE zipcodes PARTITION(state='NJ')
IF NOT EXISTS VALUES (921,'US','New Jersey',7097);
INSERT OVERWRITE TABLE zipcodes PARTITION(state='NJ')
IF NOT EXISTS select id,city,zipcode from other_table;
注意:
关于INSERT OVERWRITE TABLE zipcodes PARTITION(state=‘NJ’) IF NOT EXISTS select id,city,zipcode from other_table;
字段要与创建表时的id,city,zipcode 字段顺序一一对应否则会造成字段插入错位的问题