Hive分区表新增字段注意事项

分区表新增字段注意事项

对Hive表新增字段时，官方给出语法结构如下
ALTER TABLE table_name
  [PARTITION partition_spec]                
  ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)
  [CASCADE|RESTRICT]
1
2
3
4
其中CASCADE选项为选填的字段，但是对于分区表，一定要加上，否则其历史分区的元数据信息(metadata)将无法正常更新，导致访问历史分区时会报莫名的错误

对此，官方给出的使用建议为：

ALTER TABLE ADD or REPLACE COLUMNS CASCADE will override the table partition’s column metadata regardless of the table or partition’s protection mode. Use with discretion.

本数仓由于大量表都是分区表，因此建议在增加字段时，记得增加CASCADE选项，实际可参考如下例子

ALTER TABLE Database.TableName ADD COLUMNS(
     col1       STRING  COMMENT '列1'
    ,col2       STRING  COMMENT '列2'
    ,col3       STRING  COMMENT '列3'
    ,col4       STRING  COMMENT '列4'
    ,col5       STRING  COMMENT '列5'
) CASCADE;

注意：如果是sqoop将mysql数据同步至hive，没有指定指定字段的情况下，当mysql表增加字段的时候，此时只需要将hive表添加字段，就OK了。