系统学习hive programming,第五章,操作数据

/*
*    Lee 2013.11.14翻译  《programming hive》 第五章节HiveQL: Queries
  

*/



                            第五章 数据操作
  Hive不允许行级别操作,数据只能被批量导入。
加载数据示例:
LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'
    OVERWRITE INTO TABLE employees
    PARTITION (country = 'US', state = 'CA');
    
使用查询结果插入数据示例:
INSERT OVERWRITE TABLE employees
    PARTITION (country = 'US', state = 'OR')
        SELECT * FROM staged_employees se
            WHERE se.cnty = 'US' AND se.st = 'OR';
            
使用OVERWRITE关键字,将覆盖表内原来数据

译注:
  我做过实验, OVERWRITE关键字实质为清空HDFS上表对应的文件夹,然后建立名为000000_0
的文件,并将OVERWRITE的数据写入。

如果是用 INTO 关键字代替OVERWRITE,则不会覆盖原来表上数据

译注:
  INTO关键字实质为在HDFS上表对应的文件夹,建立名为000000_0_copy_X (X为1,2,3..)
的文件,并将INTO数据写入。

将staged_employees导入employees表 示例:
INSERT OVERWRITE TABLE employees
    PARTITION (country = 'US', state = 'OR')
        SELECT * FROM staged_employees se
            WHERE se.cnty = 'US' AND se.st = 'OR';
            
如果需要把全美国所有的员工都导入employees表,不得不扫描staged_employees65次以覆盖所有
staged_employees分区。 Hive提供以下语法,只用扫描扫描一次。

FROM staged_employees se
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'OR')
SELECT * WHERE se.cnty = 'US' AND se.st = 'OR'
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'CA')
SELECT * WHERE se.cnty = 'US' AND se.st = 'CA'
INSERT OVERWRITE TABLE employees
PARTITION (country = 'US', state = 'IL')
SELECT * WHERE se.cnty = 'US' AND se.st = 'IL';

根据查询语句建立表 示例:
CREATE TABLE ca_employees
AS SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';


数据导出,示例:
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/ca_employees'
SELECT name, salary, address
FROM employees
WHERE se.state = 'CA';
译注: 这个操作要非常小心,LOCAL DIRECTORY 定向的目录如果已经存在,这会发生覆盖
且没有任何提示。 Hive还是有很多不成熟的地方。我实验室不小心覆盖了自己的HADOOP_HOME.


查看导出数据
hive> ! ls /tmp/ca_employees;
000000_0
hive> ! cat /tmp/payroll/000000_0
John Doe100000.0201 San Antonio CircleMountain ViewCA94040
Mary Smith80000.01 Infinity LoopCupertinoCA95014
...








  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值