通过导入本地文件来装载数据(overwrite关键字表示重写,即会覆盖掉原来的数据,如果没有overwrite,或者用into关键字来替换它的话,数据将以追加的方式写入):
hive> load data local inpath '/usr/my/database/Chinese-employees'
overwrite into table employees;
通过查询语句来向表中插入数据:
hive> insert overwrite table employees
partition (country='US',state='OR')
select * from staged_employees se where se.country='US' and se.st="OR";
以下这三种insert语句执行效率会更高一点:
hive> from staged_employees se
insert overwrite table employees
partition(country='US',state='OR')
select * where se.cnty='US' and se.st='OR';
hive> insert overwrite table employees
partition(country='US',state='CA')
select * where se.cnty='US' and se.st='CA';
hive> insert overwrite table employees
partition(country='US' and state='IL')
select * where se.cnty='US' and se.st='IL';
动态分区插入(基于查询参数推断出需要创建的分区名称),以下的例子是根据select语句中的最后2列来确定分区字段country和state的值(...表示的是该表的其他列,此处省略不写):
hive> insert overwrite table employees
partition(country,state)
select ...,se.cnty,se.st
from staged_employees se;
当然,你也可以混合使用动态和静态分区,以下的例子就是指定了country字段的值为静态的US,而分区字段state是动态值(静态分区键必须要出现在动态分区键之前):
hive> insert overwrite table employees
partition(country='US',state)
select ...,se.cnty,se.st
from staged_employees se
where se.cnty='US';
动态分区功能默认情况是没有开启的。开启后,默认是以“严格”模式执行的,在这种模式下要求至少有一列分区字段是静态的。
动态分区属性
属性名称 | 缺省值 | 描述 |
---|---|---|
hive.exec.dynamic.partition | false | 设置为true,表示开启动态分区功能 |
hive.exec.dynamic.partition.mode | strict | 设置为nonstrict,表示允许所有分区都是动态的 |
hive.exec.max.dynamic.partitions.pernode | 100 | 每个mapper或reducer可以创建的最大动态分区的个数。如果某个mapper或reducer尝试创建大于这个值的分区的话则会抛出一个致命错误信息 |
hive.exec.max.dynamic.partitions | +1000 | 一个动态分区创建语句可以创建的最大动态分区个数。如果超过这个值则会抛出一个致命错误信息 |
hive.exec.max.created.files | 100000 | 全局可以创建的最大文件个数。有一个Hadoop计数器会跟踪记录创建了多少个文件,如果超过这个值则会抛出一个致命错误信息 |
单个查询语句中创建表并加载数据:
hive> create table ca_employees
as select name,salary,address
from employees
where se.state='CA';
导出数据:
hive> insert overwrite local directory 'tmp/ca_employees'
select name,salary,address
from employees
where se.state='CA';