大数据基础知识学习-----Hive学习笔记（九）DDL数据定义分区表注意事项

分区表注意事项

创建二级分区表

hive (default)> create table dept_partition2(
               deptno int, dname string, loc string
               )
               partitioned by (month string, day string)
               row format delimited fields terminated by '\t';

正常的加载数据

加载数据到二级分区表中

hive (default)> load data local inpath '/opt/module/datas/dept.txt' into table default.dept_partition2 partition(month='201709', day='13');

查询分区数据

hive (default)> select * from dept_partition2 where month='201709' and day='13';

把数据直接上传到分区目录上，让分区表和数据产生关联的三种方式

• 方式一：上传数据后修复
  
  • 上传数据
  • hive (default)> dfs -mkdir -p /user/hive/warehouse/dept_partition2/month=201709/day=12;
  • hive (default)> dfs -put /opt/module/datas/dept.txt /user/hive/warehouse/dept_partition2/month=201709/day=12;
  • 查询数据（老版本的hive，查询不到刚上传的数据）
  • hive (default)> select * from dept_partition2 where month=’201709’ and day=’12’;
  • 执行修复命令
  • hive>msck repair table dept_partition2;
  • 再次查询数据
  • hive (default)> select * from dept_partition2 where month=’201709’ and day=’12’;
• 方式二：上传数据后添加分区
  
  • 上传数据
  • hive (default)> dfs -mkdir -p /user/hive/warehouse/dept_partition2/month=201709/day=11;
  • hive (default)> dfs -put /opt/module/datas/dept.txt /user/hive/warehouse/dept_partition2/month=201709/day=11;
  • 执行添加分区
  • hive (default)> alter table dept_partition2 add partition(month=’201709’, day=’11’);
  • 查询数据
  • hive (default)> select * from dept_partition2 where month=’201709’ and day=’11’;
• 方式三：上传数据后load数据到分区
  
  • 创建目录
  • hive (default)> dfs -mkdir -p /user/hive/warehouse/dept_partition2/month=201709/day=10;
  • 上传数据：
  • hive (default)> load data local inpath ‘/opt/module/datas/dept.txt’ into table dept_partition2 partition(month=’201709’,day=’10’);
  • 查询数据：
  • hive (default)> select * from dept_partition2 where month=’201709’ and day=’10’;