Hive分区表修改（增删）列

最新推荐文章于 2024-01-10 10:42:27 发布
最新推荐文章于 2024-01-10 10:42:27 发布
阅读量2.8k 收藏 4
点赞数
分类专栏： Hive 大数据 文章标签： hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31922231/article/details/127941319
版权

文章目录

一、环境及测试数据

环境：CDH6.3.0，Hive 2.1.1-cdh6.3.0

基础数据分区表test1，包含a,b,c,d共4列加分区列p_day，向其中插入两行数据

create table test1(a int,b bigint,c float,d string) partitioned by(p_day string) stored as parquet;

insert into test1 partition(p_day) values(1,11,1.1,'str1','2022-11-19'),(2,22,2.2,'str2','2022-11-19');

表中数据及parquet文件信息如下：

0: jdbc:hive2://dev-master1:10000 > select * from test1;
+----------+----------+----------+----------+--------------+
| test1.a  | test1.b  | test1.c  | test1.d  | test1.p_day  |
+----------+----------+----------+----------+--------------+
| 1        | 11       | 1.1      | str1     | 2022-11-19   |
| 2        | 22       | 2.2      | str2     | 2022-11-19   |
+----------+----------+----------+----------+--------------+

[hive@dev-master1 tmp]$ hdfs dfs -get /user/hive/warehouse/debug_test.db/test1/p_day=2022-11-19/000000_0 ./
[hive@dev-master1 tmp]$ parquet-tools schema 000000_0
message hive_schema {
  optional int32 a;
  optional int64 b;
  optional float c;
  optional binary d (STRING);
}

[hive@dev-master1 tmp]$ parquet-tools cat 000000_0
a = 1
b = 11
c = 1.1
d = str1

a = 2
b = 22
c = 2.2
d = str2

二、 删除列

2.1 测试表test2

create table test2(b bigint,a int,c float) partitioned by(p_day string) stored as parquet;

test2表直接使用test1表的文件：

[hive@dev-master1 tmp]$ hdfs dfs -mkdir /user/hive/warehouse/debug_test.db/test2/p_day=2022-11-19
[hive@dev-master1 tmp]$ hdfs dfs -cp /user/hive/warehouse/debug_test.db/test1/p_day=2022-11-19/000000_0 /user/hive/warehouse/debug_test.db/test2/p_day=2022-11-19/

修复分区并查询数据

msck repair table test2;
select * from test2;
+----------+----------+----------+--------------+
| test2.b  | test2.a  | test2.c  | test2.p_day  |
+----------+----------+----------+--------------+
| 11       | 1        | 1.1      | 2022-11-19   |
| 22       | 2        | 2.2      | 2022-11-19   |
+----------+----------+----------+--------------+

2.2 DDL删除列？

删除test2表的a列，看起来只有通过replace columns实现，但是运行报错，根据官方文档，只有表的序列化方式为native SerDe（DynamicSerDe, MetadataTypedColumnsetSerDe, LazySimpleSerDe and ColumnarSerDe）才能执行。

0: jdbc:hive2://dev-master1:10000> alter table test2 replace columns(b bigint,c float);
INFO  : Compiling command(queryId=hive_20221119180121_23e7971f-7b2f-4693-90b9-469ec44a97bd): alter table test2 replace columns(b bigint,c float)
INFO  : Semantic Analysis Completed
INFO  : Returning Hive schema: Schema(fieldSchemas:null, properties:null)
INFO  : Completed compiling command(queryId=hive_20221119180121_23e7971f-7b2f-4693-90b9-469ec44a97bd); Time taken: 1.479 seconds
INFO  : Executing command(queryId=hive_20221119180121_23e7971f-7b2f-4693-90b9-469ec44a97bd): alter table test2 replace columns(b bigint,c float)
INFO  : Starting task [Stage-0:DDL] in serial mode
ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Replacing columns cannot drop columns for table debug_test.test2. SerDe may be incompatible
INFO  : Completed executing command(queryId=hive_20221119180121_23e7971f-7b2f-4693-90b9-469ec44a97bd); Time taken: 0.018 seconds
Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Replacing columns cannot drop columns for table debug_test.test2. SerDe may be incompatible (state=42000,code=1)

2.3 代码连接Hive Metastore删除列

主要Maven依赖：

用代码连接Hive MetaStore修改可以成功:

package com.bigdata.databasetest.hive.metastore;

import org.apache.hadoop.hive.conf.HiveConf;
import org.apache.hadoop.hive.metastore.HiveMetaStoreClient;
import org.apache.hadoop.hive.metastore.api.FieldSchema;
import org.apache.hadoop.hive.metastore.api.Table;
import org.apache.thrift.TException;

import java.util.List;
import java.util.stream.Collectors;


/**
 * ClassName： HiveMetaStoreClientTest
 * Description：
 *
 * @author 0x3E6
 * @version 1.0.0
 * @date 2022/11/19 17:12
 */
public class HiveMetaStoreClientTest {

    public static void main(String[] args) throws TException {
        HiveConf hiveConf = new HiveConf();
        System.setProperty("HADOOP_USER_NAME", "hive");
        hiveConf.set(HiveConf.ConfVars.METASTOREURIS.varname, "thrift://dev-master1:9083");
        try (HiveMetaStoreClient client = new HiveMetaStoreClient(hiveConf)) {
            Table table = client.getTable("debug_test", "test2");
            List<FieldSchema> cols = table.getSd().getCols();
            cols = cols.stream().filter(fieldSchema -> !"a".equalsIgnoreCase(fieldSchema.getName())).collect(Collectors.toList());
            table.getSd().setCols(cols);
            client.alter_table("debug_test", "test2", table);
        }
    }
}

这样查询数据有问题，不论sql是否带分区：

select * from test2;
select * from test2 where p_day='2022-11-19';

查询结果为：

+----------+----------+--------------+
| test2.b  | test2.c  | test2.p_day  |
+----------+----------+--------------+
| 11       | NULL     | 2022-11-19   |
| 22       | NULL     | 2022-11-19   |
+----------+----------+--------------+

因为只改了表的元数据，而未改分区的元数据。

0: jdbc:hive2://dev-master1:10000> desc test2;
+--------------------------+-----------------------+-----------------------+
|         col_name         |       data_type       |        comment        |
+--------------------------+-----------------------+-----------------------+
| b                        | bigint                |                       |
| c                        | float                 |                       |
| p_day                    | string                |                       |
|                          | NULL                  | NULL                  |
| # Partition Information  | NULL                  | NULL                  |
| # col_name               | data_type             | comment               |
|                          | NULL                  | NULL                  |
| p_day                    | string                |                       |
+--------------------------+-----------------------+-----------------------+
0: jdbc:hive2://dev-master1:10000> desc test2 partition(p_day='2022-11-19');
+--------------------------+-----------------------+-----------------------+
|         col_name         |       data_type       |        comment        |
+--------------------------+-----------------------+-----------------------+
| b                        | bigint                |                       |
| a                        | int                   |                       |
| c                        | float                 |                       |
| p_day                    | string                |                       |
|                          | NULL                  | NULL                  |
| # Partition Information  | NULL                  | NULL                  |
| # col_name               | data_type             | comment               |
|                          | NULL                  | NULL                  |
| p_day                    | string                |                       |
+--------------------------+-----------------------+-----------------------+

具体原理及原因还未分析，但可以修复，只需要保持分区的列与表的列顺序一致，无法执行REPLACE COLUMNS语句，通过CHANGE COLUMNS语句将c列移动到a列之前：

alter table test2 partition(p_day='2022-11-19') change column c c float after b;
select * from test2 where p_day='2022-11-19';
+----------+----------+--------------+
| test2.b  | test2.c  | test2.p_day  |
+----------+----------+--------------+
| 11       | 1.1      | 2022-11-19   |
| 22       | 2.2      | 2022-11-19   |
+----------+----------+--------------+

2.3.1 同时更新表与分区元数据

ALTER TABLE语句可以添加CASCADE，更新表元数据的同时级联更新分区元数据，Hive MetaStoreClient API也可以使用带CASCADE的方法，前面的代码调用的HiveMetaStoreClient的alter_table(String dbname, String tbl_name, Table new_tbl)方法，可以调用alter_table(String defaultDatabaseName, String tblName, Table table, boolean cascade)方法，新建表test3与test2结构一致，也同样把test1的数据拷贝到表test3，再通过代码删除表test3的列a：

package com.bigdata.databasetest.hive.metastore;

import org.apache.hadoop.hive.conf.HiveConf;
import org.apache.hadoop.hive.metastore.HiveMetaStoreClient;
import org.apache.hadoop.hive.metastore.api.FieldSchema;
import org.apache.hadoop.hive.metastore.api.Table;
import org.apache.thrift.TException;

import java.util.List;
import java.util.stream.Collectors;


/**
 * ClassName： HiveMetaStoreClientTest
 * Description：
 *
 * @author 0x3E6
 * @version 1.0.0
 * @date 2022/11/19 17:12
 */
public class HiveMetaStoreClientTest {

    public static void main(String[] args) throws TException {
        HiveConf hiveConf = new HiveConf();
        System.setProperty("HADOOP_USER_NAME", "hive");
        hiveConf.set(HiveConf.ConfVars.METASTOREURIS.varname, "thrift://dev-master1:9083");
        try (HiveMetaStoreClient client = new HiveMetaStoreClient(hiveConf)) {
            Table table = client.getTable("debug_test", "test3");
            List<FieldSchema> cols = table.getSd().getCols();
            cols = cols.stream().filter(fieldSchema -> !"a".equalsIgnoreCase(fieldSchema.getName())).collect(Collectors.toList());
            table.getSd().setCols(cols);
//            client.alter_table("debug_test", "test2", table);
            client.alter_table("debug_test", "test3", table, true);
        }
    }
}

更新后表test3可正常查询：

0: jdbc:hive2://dev-master1:10000> select * from test3;
+----------+----------+--------------+
| test3.b  | test3.c  | test3.p_day  |
+----------+----------+--------------+
| 11       | 1.1      | 2022-11-19   |
| 22       | 2.2      | 2022-11-19   |
+----------+----------+--------------+

表与分区元数据也相同：

0: jdbc:hive2://dev-master1:10000> desc test3;
+--------------------------+-----------------------+-----------------------+
|         col_name         |       data_type       |        comment        |
+--------------------------+-----------------------+-----------------------+
| b                        | bigint                |                       |
| c                        | float                 |                       |
| p_day                    | string                |                       |
|                          | NULL                  | NULL                  |
| # Partition Information  | NULL                  | NULL                  |
| # col_name               | data_type             | comment               |
|                          | NULL                  | NULL                  |
| p_day                    | string                |                       |
+--------------------------+-----------------------+-----------------------+
0: jdbc:hive2://dev-master1:10000> desc test3 partition(p_day='2022-11-19');
+--------------------------+-----------------------+-----------------------+
|         col_name         |       data_type       |        comment        |
+--------------------------+-----------------------+-----------------------+
| b                        | bigint                |                       |
| c                        | float                 |                       |
| p_day                    | string                |                       |
|                          | NULL                  | NULL                  |
| # Partition Information  | NULL                  | NULL                  |
| # col_name               | data_type             | comment               |
|                          | NULL                  | NULL                  |
| p_day                    | string                |                       |
+--------------------------+-----------------------+-----------------------+

三、添加列

根据Hive文档，可通过ADD COLUMNS语句添加列，ADD COLUMNS语句会将指定的列添加到（除分区列外）其他列后面。

ALTER TABLE table_name 
  [PARTITION partition_spec]                 -- (Note: Hive 0.14.0 and later)
  ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)
  [CASCADE|RESTRICT]                         -- (Note: Hive 1.1.0 and later)

如果使用Hive MetaStoreClient API不小心将列加到了（除分区列）外其他列之间，且造成了表与分区列顺序不同，也可结合CHANGE COLUMNS语句修改表或分区的列顺序恢复即可：

ALTER TABLE table_name [PARTITION partition_spec] CHANGE [COLUMN] col_old_name col_new_name column_type
  [COMMENT col_comment] [FIRST|AFTER column_name] [CASCADE|RESTRICT];

结论

可以通过Hive MetaStoreClient API增删Hive列，但必须保持Hive表与各分区元数据的列顺序一致。

参考链接

0x3E6
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive 分区表select全部数据_hive分区表
weixin_29838739的博客
01-14 2003
内部表和外部表内部表：create table，copy数据到warehouse,删除表时数据也会删除外部表：create external table，不copy数据到warehouse,删除表时数据不会删除表的分区分区的好处：如果不建立分区的话，则会全表扫描数据通过目录划分分区，分区字段是特殊字段目录结构：/pub/{dt}/{customer_id}/添加分区：ALTER TABLE fs ...
修改hive表分区名称
02-17
### 修改Hive表分区名称的方法 在大数据处理领域中，Apache Hive是一款广泛使用的数据仓库工具，它能够将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，使得用户能够通过简单的SQL语句来处理存储在...
Hive添加列、修改列（调整位置）、删除列操作等
wujixian123456的博客
10-13 2619
Hive添加列、修改列（调整位置）、删除列操作等 张行之 2020-09-11 18:35:51 5433 收藏 18 分类专栏： 大数据 文章标签： 数据库 hive alter 版权 大数据 专栏收录该内容 84 篇文章4 订阅 订阅专栏 1.添加1列或多列 添加1列 alter table table_name add columns( user_id bigint comment ‘用户ID’ ); 添加多列 alter table table_name add columns( name st
Hive分区表（增删改查）
feizuiku0116的博客
10-17 438
一、创建分区表 静态分区表（导入linux本地的数据） partitioned by（分区字段，字段类型），分区字段不能和表字段一样 静态分区需要手动导入数据和人为划分数据文件 静态分区：需要有原始数据表，分区表，分区表和原始表的定义字段要保持一致 将原始数据表汇总的数据内容根据分区指定的分区字段自动进行分区 create table test_tb_part ( id int, name string, age int, gender string ) partitioned b
hive分区表修改增加列遇到的两个问题
bigdataprimary的博客
11-26 768
由于需求改变，需要在原有的hive分区表中添加列，并每次充写最近30天的分区数据。 问题： 1.执行alter语句增加列后修改列的位置，导致数据串列。 2.重写分区后只有最新分区的新增列有数据，其他原有分区的该列为null。 问题原因： 1.hive增加列只是修改了hive的元数据，并没有改变hdfs的数据文件，其查询结果按照列的顺序和hdfs按分隔符分割后的数据对应，导致错列。 2.原因与上面的相同，解决方法为删除旧分区后再重新写入， alter table db.table drop .
hive分区表增加字段
m0_46657040的博客
06-05 4283
hive分区表增加列 新增的列会以null展示 插入数据后还是显示null 如果放到第二天的分区，就能查出数据
Hive分区表增删改查
qq_43193797的博客
01-11 680
1 分区表 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。 1.1 分区表基本操作 1．引入分区表（需要根据日期对日志进行管理） /user/hive/warehouse/log_p...
Hive分区表实战 - 单分区字段
howard2005的专栏
01-10 1069
本实战演练全面展示了如何在Hive中创建和管理分区表，通过实际操作演示了数据按国别分区存储、加载与查询的全过程。从创建`book`表开始，依次完成了数据文件准备、分区数据加载、分区查看及更新元数据等任务，并进一步演示了分区的增删改查操作，最后通过MySQL查看Hive Metastore中记录的分区元数据信息，充分体现了Hive分区表在提升查询效率与简化数据管理方面的优势。
Hive 分区表新增字段 cascade
qq_45124566的博客
03-14 3322
Hive 分区表新增字段 cascade
Hive修改分区表的分区列类型
sunspeedzy的博客
05-20 4345
alter table <表名> partition column (<分区列1> <新类型>); alter table <表名> partition column (<分区列2> <新类型>); 如果有多个分区列的类型需要修改，则需要一个一个修改，不能一起修改 ...
hive表新增字段或者修改字段
04-20
总结来说，Hive 中的表字段修改和新增操作需要谨慎处理，特别是涉及分区表时。理解元数据管理的机制至关重要，以避免在操作后出现数据不一致的问题。同时，合理选择合适的解决方案，如重新处理数据或使用 `CASCADE` ...
hive数据分区时分区字段不可为中文。.doc
03-05
- **Hive 数据分区**是 Hive 表的一种组织方式，它允许将表中的数据按照某个列（分区键）的值进行划分，存储在不同的目录下。 - 分区有助于提高查询效率，因为当查询指定分区时，Hive 只需要扫描相关的分区，而...
HIVE创建库创建表.docx
03-13
本实验旨在深入理解Hive的基本操作，包括创建数据库、内部表、外部表以及分区表，并通过实际操作来掌握这些概念。 首先，创建Hive数据库分为两种情况，即使用`location`和不使用`location`。当使用`location`关键字...
一种Hudi on Flink动态同步元数据变化的方法
0x3E6
12-05 4150
HoodieFlinkStreamer流程分析，及一种Hudi on Flink实现动态Schema Evolution的方法。
一种动态更新flink任务配置的方法
0x3E6
04-25 4097
通过添加控制流的方式实现flink任务配置的动态更新
python通过kerberos连接impala操作hive
0x3E6
08-01 3900
一、python2版本 1. docker基础镜像 tobyhferguson/impyla_tester 2. 安装相关包及配置 2.1 安装包 参考python3.6.5基于kerberos认证的hive和hdfs连接调用 yum install libsasl2-dev yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_...
一种处理Hive元数据与文件类型不同时SQL查询失败的方法（二）
0x3E6
03-24 2657
继上一篇之后，又发现了一种新的报错位置。本篇对这种情况进行处理。并验证这种处理方式是否适用于Hive on Spark环境。
hive为分区表增加字段
最新发布
06-14
Hive是基于Hadoop的数据仓库工具，它支持在已有的分区表上添加新的字段。如果你想要在分区表中增加新的字段，你需要遵循一些步骤： 1. **停止写入**：确保在修改分区表结构之前，表上的所有写操作都已经完成，因为写操作可能会对数据产生影响。 2. **分析现有表**：使用`DESCRIBE formatted <your_table>`命令检查当前表的结构，包括分区列和现有字段。 3. **修改分区定义**：如果你只想在数据的一部分（例如，特定的分区）中添加新字段，你需要创建一个新的分区，然后将这部分数据移动到新分区。如果是所有分区都增加新字段，你可以直接在分区定义中增加。例如，如果你想在所有分区的`year`和`month`基础上添加一个`day`字段，分区定义可能变成`year=2022/month=1/day=<new_field>`。 4. **ALTER TABLE语句**：使用`ALTER TABLE <your_table> ADD PARTITION (year=2022, month=1, day=<new_field>)`或`ALTER TABLE <your_table> ADD COLUMNS <new_column_name> <data_type>`来添加新字段。这里 `<new_column_name>`是新字段名，`<data_type>`是对应的数据类型。 5. **验证和迁移数据**：再次运行`DESCRIBE formatted`来确认新字段已经添加，并检查数据是否正确地移动到了新分区或在所有分区中都有这个字段。 6. **重启服务**：可能需要重启Hive服务，让其加载新的表结构。 7. **错误处理**：如果遇到问题，确保检查日志，可能会有关于数据不一致或权限不足的提示。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值