hive 指定字段插入数据_Hive通过查询语句向表中插入数据注意事项

最近在学习使用Hive(版本0.13.1)的过程中，发现了一些坑，它们或许是Hive提倡的比关系数据库更加自由的体现(同时引来一些问题)，或许是一些bug。总而言之，这些都需要使用Hive的开发人员额外注意。本文旨在列举我发现的3个通过查询语句向表中插入数据过程中的问题，希望大家注意。

为了验证接下来出现的问题，需要先准备两张表employees和staged_employees，并准备好测试数据。首先使用以下语句创建表employees：

create table employees (

id int comment 'id',

name string comment 'name')

partitioned by (country string, state string)

row format delimited fields terminated by ',';

employees的结构比较简单，有id、name、country、state四个字段，其中country和state都是分区字段。特别需要提醒的是这里显示的给行格式指定了字段分隔符为逗号，因为默认的字段分隔符\001不便于笔者准备数据。然后创建表staged_employees：

create table staged_employees (

id int comment 'id',

user_name string comment 'user name')

partitioned by (cnty string, st string);

staged_employees也有4个字段，除了字段名不同之外，和employees的4个字段的含义是相同的。

我们首先使用以下语句给employees的country等于US，state等于CA的分区加载一些数据：

load data local inpath '${env:HOME}/test.txt'

into table employees

partition (country = 'US', state = 'CA');

再给employees的country等于CN，state等于BJ的分区加载一些数据：

load data local inpath '${env:HOME}/test2.txt'

overwrite into table employees

partition (country = 'CN', state = 'BJ');

以上语句的执行过程如图1所示。

图1给employees加载数据

最后我们看看employees中准备好的数据，如图2所示。

图2employees中准备好的数据

INSERT OVERWRITE的歧义

由于staged_employees中还没有数据，所以我们查询employees的数据，并插入staged_employees中：

insert overwrite table staged_employees

partition (cnty = 'US', st = 'CA')

select * from employees e

where e.country = 'US' and e.state = 'CA';

大家看看这条sql有没有问题？最终的执行结果如图3所示。

图3SemanticException [Error 10044