一、问题描述
踩坑:数仓的分区表,由于需求需要进行字段类型变更、新增字段等,例如要把int类型的字段改为bigint,直接执行的以下语句:
alter table table_name change column id id bigint;
出现的问题:之后的分区数据可以正常的显示,历史数据查出来的数据为0或者null,无论insert overwrite重新导数据、把有问题的分区数据删掉都不能正常显示。
二、问题解决
在我们执行更改字段类型、增加字段时,在语句末尾加上cascade
alter table table_name change column id id bigint cascade;
三、知识扩展
1、cascade的中文翻译为“级联”,也就是不仅变更新分区的表结构(metadata),同时也变更旧分区的表结构。
2、对于删除操作也是,级联删除表中的信息,当表A中的字段引用了表B中的字段时,一旦删除B中该字段的信息,表A的信息也自动删除。(当父表的信息删除,子表的信息也自动删除)
3、标准语法如下:
3.1 更改列名称/类型/位置/注释
ALTER TABLE table_name [PARTITION partition_spec] CHANGE [COLUMN] col_old_name col_new_name column_type
[COMMENT col_comment] [FIRST|AFTER column_name] [CASCADE|RESTRICT];
这个命令将允许用户更改列的名称,数据类型,注释或位置,或者它们的任意组合。PARTITION子句中从Hive0.14.0到更高版本;
CASCADE | RESTRICT子句中可用Hive1.1.0。ALTER TABLE CHANGE COLUMN与CASCADE配合更改表元数据的列,并对所有分区元数据进行相同的更改。RESTRICT是默认的,限制仅表中列的元数据发生变化。
ALTER TABLE CHANGE COLUMN CASCADE子句将覆盖表/分区相关列的元数据,而不管表或分区的保护模式如何。谨慎使用。
更改列命令将只修改配置单元的元数据,并且不会修改数据。用户应确保表/分区的实际数据与布局的元数据定义一致。
例:
CREATE TABLE test_change (a int, b int, c int);
// First change column a's name to a1.
ALTER TABLE test_change CHANGE a a1 INT;
// Next change column a1's name to a2, its data type to string, and put it after column b.
ALTER TABLE test_change CHANGE a1 a2 STRING AFTER b;
// The new table's structure is: b int, a2 string, c int.
// Then change column c's name to c1, and put it as the first column.
ALTER TABLE test_change CHANGE c c1 INT FIRST;
// The new table's structure is: c1 int, b int, a2 string.
// Add a comment to column a1
ALTER TABLE test_change CHANGE a1 a1 INT COMMENT 'this is column a1';
3.2 添加/替换列
ALTER TABLE table_name
[PARTITION partition_spec] -- (Note: Hive 0.14.0 and later)
ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)
[CASCADE|RESTRICT] -- (Note: Hive 1.1.0 and later)
ADD COLUMNS允许您将新列添加到现有列之后,分区列之前。这个特性支持Avro的表, Hive0.14及更高版本。
REPLACE COLUMNS删除所有现有列,并增加了新的一组列。这只能是在表是本地SERDE(DynamicSerDe,MetadataTypedColumnsetSerDe,LazySimpleSerDe和ColumnarSerDe)的情况下完成。请参阅HiveSERDE以获取更多信息。REPLACE COLUMNS还可以用来删除列。例如,“ ALTER TABLE test_change REPLACE COLUMNS (a int, b int);”将于test_change的模式中删除列“C”。
PARTITION子句从Hive0.14.0 开始到更高版本;
CASCADE | RESTRICT子句中可用Hive1.1.0。ALTER TABLE CHANGE COLUMN与CASCADE配合更改表元数据的列,并对所有分区元数据进行相同的更改。RESTRICT是默认的,限制仅表中列的元数据发生变化。
ALTER TABLE ADD或REPLACE COLUMNS CASCADE将覆盖表分区的列的元数据,无视表或分区的的保护模式。请谨慎使用。
列更改命令将只修改配置单元的元数据,并且不会修改数据。用户应确保表/分区的实际数据与布局的元数据定义一致。