Hive改表结构的两个坑|避坑指南

公众号后台回复“图书“，了解更多号主新书内容

作者：数据社

来源：数据社

Hive在大数据中可能是数据工程师使用的最多的组件，常见的数据仓库一般都是基于Hive搭建的，在使用Hive时候，遇到了两个奇怪的现象，今天给大家聊一下，以后遇到此类问题知道如何避坑！

坑一：改变字段类型后更新数据不成功 

关于hive插入数据的一个小坑，今天插入一个表中数据，插入时写的是常数，比如0.01 ，表中的字段也是DECIMAL(5,2)，按照常理插入的应该是0.01，但是插入后查询是0，为甚！

 

 遇到问题，咱也不能退缩！就分析呀，看语句没问题啊！还是上网查查有没有坑友。查了一圈发现还是观望最靠谱！上hive官网查，呀~ 发现了原因！

 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types#LanguageManualTypes-Decimals

 根据官网描述，发现在插入分区表时会出现这种情况，此时需要对之前的分区处理下~：

那就测试一下 按照官网的说法:

先建表：

CREATE TABLE `tb_dw_test`(


  `a` int COMMENT '微信服务量')


PARTITIONED BY (


  `statis_date` varchar(8))


ROW FORMAT DELIMITED


  FIELDS TERMINATED BY '|' ;

然后插入数据： 

insert overwrite table tb_dw_test partition (statis_date=20160501) values(1.02);

然后查询： 

hive> select * from tb_dw_test;


OK


1                         20160501

发现结果跟想象中的一样~ 

然后修改表字段：

ALTER TABLE tb_dw_test REPLACE COLUMNS (a DECIMAL(5,2))

然后再次插入数据： 

insert overwrite table tb_dw_test partition (statis_date=20160501) values(1.02);

查询： 

hive> select * from tb_dw_test;


OK


1           20160501

发现有问题啦！ 

那么按照官网处理：

Determine what precision/scale you would like to set for the decimal column in the table. For each decimal column in the table, update the column definition to the desired precision/scale using the ALTER TABLE command:

ALTER TABLE foo CHANGE COLUMN dec_column_name dec_column_name DECIMAL(38,18);

If the table is a partitioned table, then find the list of partitions for the table:If the table is not a partitioned table, then you are done.  If the table has partitions, then go on to step 3

SHOW PARTITIONS foo;


 


ds=2008-04-08/hr=11


ds=2008-04-08/hr=12


...

This can be done with a single ALTER TABLE CHANGE COLUMN by using dynamic partitioning (available for ALTER TABLE CHANGE COLUMN in Hive 0.14 or later, with HIVE-8411):Each existing partition in the table must also have its DECIMAL column changed to add the desired precision/scale.

SET hive.exec.dynamic.partition = true;
  
-- hive.exec.dynamic.partition needs to be set to true to enable dynamic partitioning with ALTER PARTITION
-- This will alter all existing partitions of the table - be sure you know what you are doing!
ALTER TABLE foo PARTITION (ds, hr) CHANGE COLUMN dec_column_name dec_column_name DECIMAL(38,18);

所以参照官网，这里对表作如下处理：

ALTER TABLE tb_dw_test PARTITION (statis_date) CHANGE COLUMN a a DECIMAL(5,2);

  

再次插入数据：

insert overwrite table tb_dw_test partition (statis_date=20160501) values(1.02);

然后查询： 

hive> select * from tb_dw_test;


OK


1.02                20160501


Time taken: 0.066 seconds, Fetched: 1 row(s)

发现结果跟想象中的一样了。这个坑算是过去了~ 

坑二：增加字段后更新数据不成功

还是上面的例子那张表，再增加一个字段：

alter table tb_dw_test add COLUMNS (b varchar(5))

然后查询 

hive> select * from tb_dw_test;


OK


1.02    NULL    20160501


Time taken: 0.082 seconds, Fetched: 1 row(s)

发现新增的字段默认的值是NULL，现在我重新覆盖一下元数据，给增加的字段一个值： 

insert overwrite table tb_dw_test partition(statis_date=20160501) values (2.01,0371);

然后查询： 

hive> select * from tb_dw_test;


OK


2.01    NULL    20160501

不是我们想象的结果,查看一下官方文档说明发现了问题的所在：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Add/ReplaceColumns

‍

靠谱的官网用红色框框提示我们！那就这样处理： 

alter table tb_dw_test replace COLUMNS (a  decimal(5,2),b varchar(5)) CASCADE;

直接查询，发现数据显示的数据已经发生了变化了~ 

hive> select * from tb_dw_etst;


OK


2.01    0371    20160501

◆ ◆ ◆  ◆ ◆
麟哥新书已经在当当上架了，我写了本书：《拿下Offer-数据分析师求职面试指南》，目前当当正在举行活动，大家可以用相当于原价5折的预购价格购买，还是非常划算的：

点击下方小程序即可进入购买页面：

数据森麟公众号的交流群已经建立，许多小伙伴已经加入其中，感谢大家的支持。大家可以在群里交流关于数据分析&数据挖掘的相关内容，还没有加入的小伙伴可以扫描下方管理员二维码，进群前一定要关注公众号奥，关注后让管理员帮忙拉进群，期待大家的加入。

管理员二维码：


猜你喜欢

● 麟哥拼了！！！亲自出镜推荐自己新书《数据分析师求职面试指南》● 厉害了！麟哥新书登顶京东销量排行榜！● 笑死人不偿命的知乎沙雕问题排行榜
● 用Python扒出B站那些“惊为天人”的阿婆主！● 你相信逛B站也能学编程吗