* Lee 2013.11.14翻译 《programming hive》 第五章节HiveQL: Queries
*/
第五章 数据操作
Hive不允许行级别操作,数据只能被批量导入。
加载数据示例:
LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'
OVERWRITE INTO TABLE employees
PARTITION (country = 'US', state = 'CA');
使用查询结果插入数据示例:
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'OR')
SELECT * FROM staged_employees se
WHERE se.cnty = 'US' AND se.st = 'OR';
使用OVERWRITE关键字,将覆盖表内原来数据
译注:
我做过实验, OVERWRITE关键字实质为清空HDFS上表对应的文件夹,然后建立名为000000_0
的文件,并将OVERWRITE的数据写入。
如果是用 INTO 关键字代替OVERWRITE,则不会覆盖原来表上数据
译注:
INTO关键字实质为在HDFS上表对应的文件夹,建立名为000000_0_copy_X (X为1,2,3..)
的文件,并将INTO数据写入。
将staged_employees导入employees表 示例:
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'OR')
SELECT * FROM staged_employees se
WHERE se.cnty = 'US' AND se.st = 'OR';
如果需要把全美国所有的员工都导入employees表,不得不扫描staged_employees65次以覆盖所有
staged_employees分区。 Hive提供以下语法,只用扫描扫描一次。
FROM staged_employees se
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'OR')
SELECT * WHERE se.cnty = 'US' AND se.st = 'OR'
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'CA')
SELECT * WHERE se.cnty = 'US' AND se.st = 'CA'
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'IL')
SELECT * WHERE se.cnty = 'US' AND se.st = 'IL';
根据查询语句建立表 示例:
CREATE TABLE ca_employees
AS SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';
数据导出,示例:
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/ca_employees'
SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';
译注: 这个操作要非常小心,LOCAL DIRECTORY 定向的目录如果已经存在,这会发生覆盖
且没有任何提示。 Hive还是有很多不成熟的地方。我实验室不小心覆盖了自己的HADOOP_HOME.
查看导出数据
hive> ! ls /tmp/ca_employees;
000000_0
hive> ! cat /tmp/payroll/000000_0
John Doe100000.0201 San Antonio CircleMountain ViewCA94040
Mary Smith80000.01 Infinity LoopCupertinoCA95014
...