ALTER TABLE 分区操作-动态增加一级，多级分区，动态删除分区

最新推荐文章于 2024-12-27 19:53:13 发布
最新推荐文章于 2024-12-27 19:53:13 发布
阅读量3.9k 收藏 2
点赞数
文章标签： spark 大数据 hadoop 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48370579/article/details/127813404
版权
本文介绍了如何在 Spark 3.x 中使用 Iceberg 进行分区操作，包括添加和删除分区。示例展示了创建表、插入数据、添加分区字段（如 loc 和 years(ts)）、删除分区字段（loc 和 years(ts)）的过程，以及在 Hive Catalog 中的操作。测试代码详细展示了这些操作的实现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.8.5.6 ALTER TABLE 分区操作

alter 分区操作包括增加分区和删除分区操作，这种分区操作在Spark3.x之后被支持，spark2.4版本不支持，并且使用时，必须在spark配置中加入spark.sql.extensions属性，其值为：org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions，在添加分区时还支持分区转换，语法如下：

  • 添加分区语法：ALTER TABLE ... ADD PARTITION FIELD
  • 删除分区语法：ALTER TABLE ... DROP PARTITION FIELD

具体操作如下：

  1. 创建表mytbl，并插入数据
val spark: SparkSession = SparkSession.builder().master("local").appName("SparkOperateIceberg")
  //指定hadoop catalog，catalog名称为hadoop_prod
  .config("spark.sql.catalog.hadoop_prod", "org.apache.iceberg.spark.SparkCatalog")
  .config("spark.sql.catalog.hadoop_prod.type", "hadoop")
  .config("spark.sql.catalog.hadoop_prod.warehouse", "hdfs://mycluster/sparkoperateiceberg")
  .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
  .getOrCreate()

//1.创建普通表
spark.sql(
  """
    | create table hadoop_prod.default.mytbl(id int,name string,loc string,ts timestamp) using iceberg
  """.stripMargin)
//2.向表中插入数据，并查询
spark.sql(
  """
    |insert into hadoop_prod.default.mytbl values
    |(1,'zs',"beijing",cast(1608469830 as timestamp)),
    |(3,'ww',"shanghai",cast(1603096230 as timestamp))
  """.stripMargin)
spark.sql("select * from hadoop_prod.default.mytbl").show()

在HDFS中数据存储和结果如下：

  1. 将表loc列添加为分区列，并插入数据，查询
//3.将 loc 列添加成分区,必须添加 config("spark.sql.extensions", "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") 配置
spark.sql(
  """
    |alter table hadoop_prod.default.mytbl add partition field loc
  """.stripMargin)

//4.向表 mytbl中继续插入数据，之前数据没有分区，之后数据有分区
spark.sql(
  """
    |insert into hadoop_prod.default.mytbl values
    |(5,'tq',"hangzhou",cast(1608279630 as timestamp)),
    |(2,'ls',"shandong",cast(1634559630 as timestamp))
  """.stripMargin )
spark.sql("select * from hadoop_prod.default.mytbl").show()

在HDFS中数据存储和结果如下：

注意：添加分区字段是元数据操作，不会改变现有的表数据，新数据将使用新分区写入数据，现有数据将继续保留在原有的布局中。

我的测试：

测试代码：

package com.shujia.spark.iceberg

import org.apache.spark.sql.SparkSession

object AlterTablePartition {
  def main(args: Array[String]): Unit = {

    /**
     * alter 分区操作包括增加分区和删除分区操作，这种分区操作在Spark3.x之后被支持，spark2.4版本不支持，并且使用时，
     * 必须在spark配置中加入spark.sql.extensions属性，
     * 其值为：org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions，在添加分区时还支持分区转换，语法如下：
     *     添加分区语法：ALTER TABLE ... ADD PARTITION FIELD
     *    删除分区语法：ALTER TABLE ... DROP PARTITION FIELD
     *
     */

    val spark: SparkSession = SparkSession
      .builder()
      .appName("SparkOperateIceberg")
      //指定hive catalog, catalog名称为hive_prod
      .config("spark.sql.catalog.hive_prod", "org.apache.iceberg.spark.SparkCatalog")
      .config("spark.sql.catalog.hive_prod.type", "hive")
      .config("spark.sql.catalog.hive_prod.uri", "thrift://master:9083")
      .config("iceberg.engine.hive.enabled", "true")
      // 将 loc 列添加成分区,必须添加
      .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
      .enableHiveSupport()
      .getOrCreate()


    //1.创建普通表
    spark.sql(
      """
        | create table if not exists hive_prod.iceberg.repartition1
        | (id int,name string,loc string,ts timestamp) using iceberg
        |
  """.stripMargin)
    //2.向表中插入数据，并查询
    spark.sql(
      """
        |insert into hive_prod.iceberg.repartition1 values
        |(1,'zs',"beijing",cast(1608469830 as timestamp)),
        |(3,'ww',"shanghai",cast(1603096230 as timestamp))
        |
      """.stripMargin)

    spark.sql("select * from hive_prod.iceberg.repartition1").show()


    //3.将 loc 列添加成分区,必须添加 config("spark.sql.extensions",
    // "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") 配置
    spark.sql(
      """
        |alter table hive_prod.iceberg.repartition1 add partition field loc
        |
  """.stripMargin)

    //4.向表 mytbl中继续插入数据，之前数据没有分区，之后数据有分区
    spark.sql(
      """
        |insert into hive_prod.iceberg.repartition1 values
        |(5,'tq',"hangzhou",cast(1608279630 as timestamp)),
        |(6,'xx',"hangzhou",cast(1608279631 as timestamp)),
        |(2,'ls',"shandong",cast(1634559632 as timestamp))
        |
      """.stripMargin )

    spark.sql("select * from hive_prod.iceberg.repartition1").show()

    //spark 提交任务的命令
    //spark-submit --master yarn --class com.shujia.spark.iceberg.AlterTablePartition spark-1.0.jar
  }
}

  1. 将ts列进行转换作为分区列，插入数据并查询
//5.将 ts 列通过分区转换添加为分区列
spark.sql(
  """
    |alter table hadoop_prod.default.mytbl add partition field years(ts)
  """.stripMargin)

//6.向表 mytbl中继续插入数据，之前数据没有分区，之后数据有分区
spark.sql(
  """
    |insert into hadoop_prod.default.mytbl values
    |(4,'ml',"beijing",cast(1639920630 as timestamp)),
    |(6,'gb',"tianjin",cast(1576843830 as timestamp))
  """.stripMargin )
spark.sql("select * from hadoop_prod.default.mytbl").show()

在HDFS中数据存储和结果如下：

我的测试，在一级分区的基础上再次添加分区

测试代码：

package com.shujia.spark.iceberg

import org.apache.spark.sql.SparkSession

object AlterTable2Partitions {
  def main(args: Array[String]): Unit = {

    val spark: SparkSession = SparkSession
      .builder()
      .appName("SparkOperateIceberg")
      //指定hive catalog, catalog名称为hive_prod
      .config("spark.sql.catalog.hive_prod", "org.apache.iceberg.spark.SparkCatalog")
      .config("spark.sql.catalog.hive_prod.type", "hive")
      .config("spark.sql.catalog.hive_prod.uri", "thrift://master:9083")
      .config("iceberg.engine.hive.enabled", "true")
      // 将 loc 列添加成分区,必须添加
      .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
      .enableHiveSupport()
      .getOrCreate()


    //5.将 ts 列通过分区转换添加为分区列
    spark.sql(
      """
        |alter table hive_prod.iceberg.repartition1 add partition field years(ts)
  """.stripMargin)

    //6.向表 mytbl中继续插入数据，之前数据没有分区，之后数据有分区
    spark.sql(
      """
        |insert into hive_prod.iceberg.repartition1 values
        |(4,'ml',"beijing",cast(1639920630 as timestamp)),
        |(4,'mm',"beijing",cast(1639920639 as timestamp)),
        |(6,'gb',"tianjin",cast(1576843830 as timestamp))
        |
      """.stripMargin )


    spark.sql("select * from hive_prod.iceberg.repartition1").show()

    //spark 提交任务的命令
    //spark-submit --master yarn --class com.shujia.spark.iceberg.AlterTable2Partitions spark-1.0.jar
  }
}

  1. 删除分区loc
//7.删除表 mytbl 中的loc分区
spark.sql(
  """
    |alter table hadoop_prod.default.mytbl drop partition field loc
  """.stripMargin)
//8.继续向表 mytbl 中插入数据，并查询
spark.sql(
  """
    |insert into hadoop_prod.default.mytbl values
    |(4,'ml',"beijing",cast(1639920630 as timestamp)),
    |(6,'gb',"tianjin",cast(1576843830 as timestamp))
  """.stripMargin )
spark.sql("select * from hadoop_prod.default.mytbl").show()

在HDFS中数据存储和结果如下：

注意：由于表中还有ts分区转换之后对应的分区，所以继续插入的数据loc分区为null

我的测试

测试代码：

package com.shujia.spark.iceberg

import org.apache.spark.sql.SparkSession

object DeleteTablePartition {
  def main(args: Array[String]): Unit = {

    /**
     *
     * 删除一个分区
     *
     */
    val spark: SparkSession = SparkSession
      .builder()
      .appName("SparkOperateIceberg")
      //指定hive catalog, catalog名称为hive_prod
      .config("spark.sql.catalog.hive_prod", "org.apache.iceberg.spark.SparkCatalog")
      .config("spark.sql.catalog.hive_prod.type", "hive")
      .config("spark.sql.catalog.hive_prod.uri", "thrift://master:9083")
      .config("iceberg.engine.hive.enabled", "true")
      // 将 loc 列添加成分区,必须添加
      .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
      .enableHiveSupport()
      .getOrCreate()

    //7.删除表 mytbl 中的loc分区
    spark.sql(
      """
        |alter table hive_prod.iceberg.repartition1 drop partition field loc
  """.stripMargin)
    //8.继续向表 mytbl 中插入数据，并查询
    spark.sql(
      """
        |insert into hive_prod.iceberg.repartition1 values
        |(4,'ml',"beijing",cast(1639920630 as timestamp)),
        |(6,'gb',"tianjin",cast(1576843830 as timestamp))
        |
  """.stripMargin )

    spark.sql("select * from hive_prod.iceberg.repartition1").show()
    //spark 提交任务的命令
    //spark-submit --master yarn --class com.shujia.spark.iceberg.DeleteTablePartition spark-1.0.jar
  }
}

  1. 删除分区years(ts)
//9.删除表 mytbl 中的years(ts) 分区
spark.sql(
  """
    |alter table hadoop_prod.default.mytbl drop partition field years(ts)
  """.stripMargin)
//10.继续向表 mytbl 中插入数据，并查询
spark.sql(
  """
    |insert into hadoop_prod.default.mytbl values
    |(5,'tq',"hangzhou",cast(1608279630 as timestamp)),
    |(2,'ls',"shandong",cast(1634559630 as timestamp))
  """.stripMargin )
spark.sql("select * from hadoop_prod.default.mytbl").show()

在HDFS中数据存储和结果如下：

我的测试：

测试代码：

package com.shujia.spark.iceberg

import org.apache.spark.sql.SparkSession

object DeleteTable2Partitions {
  def main(args: Array[String]): Unit = {

    /**
     *
     * 删除一个分区之后再次删除一个分区
     *
     */
    val spark: SparkSession = SparkSession
      .builder()
      .appName("SparkOperateIceberg")
      //指定hive catalog, catalog名称为hive_prod
      .config("spark.sql.catalog.hive_prod", "org.apache.iceberg.spark.SparkCatalog")
      .config("spark.sql.catalog.hive_prod.type", "hive")
      .config("spark.sql.catalog.hive_prod.uri", "thrift://master:9083")
      .config("iceberg.engine.hive.enabled", "true")
      // 将 loc 列添加成分区,必须添加
      .config("spark.sql.extensions", "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
      .enableHiveSupport()
      .getOrCreate()

    //9.删除表 mytbl 中的years(ts) 分区
    spark.sql(
      """
        |alter table hive_prod.iceberg.repartition1 drop partition field years(ts)
  """.stripMargin)
    //10.继续向表 mytbl 中插入数据，并查询
    spark.sql(
      """
        |insert into hive_prod.iceberg.repartition1 values
        |(5,'tq',"hangzhou",cast(1608279630 as timestamp)),
        |(2,'ls',"shandong",cast(1634559630 as timestamp))
  """.stripMargin )
    spark.sql("select * from hive_prod.iceberg.repartition1").show()


    //spark 提交任务的命令
    //spark-submit --master yarn --class com.shujia.spark.iceberg.DeleteTable2Partitions spark-1.0.jar
  }
  }

大数据实践之路-数据仓库-hive批量删除/增加分区
数据包工头的博客
01-14 850
注意: 增加日期变量 p_date ，为了防止start_date在while循环过程中，发生变化，变为和end_date一样的值。 #! /bin/bash start_date=${1:-`date -d "-32 day" "+%Y-%m-%d"`} end_date=${2:-`date -d "-1 day" "+%Y-%m-%d"`} table_name="vn0c43l.mid_dim_hyper_shop_div_dept_day_v2" # hive 批量删除分区 sql_dp=
Hive 分区实战指南：动态分区 vs 静态分区的深度解析
最新发布
2401_83088008的博客
03-23 591
分区策略的选择直接影响 Hive 查询性能和运维成本。静态分区适合可预测的少量分区场景，而动态分区在处理海量、变化的分区时更具优势。优先使用动态分区提高灵活性对热点分区进行拆分或合并定期清理无效分区结合分区裁剪和索引优化查询掌握分区技术的精髓，能让 Hive 数据仓库的性能提升 3-10 倍，是大数据工程师必须掌握的核心技能之一。
Hive：Alter Table/Partition/Column
qiulinsama的博客
03-11 1万+
Alter Table/Partition/Column Alter Table Rename Table Alter Table Properties Alter Table Comment Add SerDe Properties Alter Table Storage Properties Alter Table Skewed or Stored as Directories A...
oracle中alter增加分区,oracle表分区的部分操作
weixin_34998865的博客
04-03 1728
有关表分区的一些维护性操作：一、添加分区以下命令给SALES表添加了一个P3分区ALTER TABLE SALES ADD PARTITION P3 VALUES LESS THAN(TO_DATE('2018-09-01','YYYY-MM-DD'));注意：以上添加的分区界限应该高于最后一个分区界限。以下命令给SALES表的P3分区添加了一个P3SUB1子分区ALTER TABLE SALES...
alter table add partition ... location ...语法
热门推荐
攻城狮Kevin
06-21 2万+
目录 结论 建表语句 create table `wxtest`( `groupId` string, `uuid` string, `userId` string, `dt_index` string) partitioned by( `dt` string, `projId` string) row format delimited fields terminated by '\t';...
学习笔记】分区表和分区索引——添加表分区（二）
cuanliao6741的博客
09-07 621
一、增加表分区(add partition)增加表分区适用于所有的分区形式，语法是：alter table tbname add partition ...但是，对于像 list、range 这种存在范围值的分区，所要增加的分区...
MySQL中alter table range partition
一缕阳光的博客
06-17 2396
最近在用MySQL开发新功能时，使用到了alter table range partition的功能，在此总结下mysql innodb支持的alter table range partition相关功能。mysql的版本是8.0.22, os: linux ubuntu 对alter range partition的操作主要由以下几个： analyze partition add partition drop partition truncate partition remove partition
Hive多级分区
BabyFish13
12-27 476
随着系统运行的时间越来越长，表的数据量越来越大，而hive查询做全表扫描，会消耗很多时间，降低效率。而有时候，我们需求的数据只需要扫描表中的一部分数据即可。在Hive中，子分区是指在表的某个分区内进一步划分的分区，这样可以提高数据的查询和管理效率。子分区是通过在表定义中使用PARTITIONED BY子句来实现的，但是Hive不支持子分区，通常我们叫做多级分区。每个分区都可以有自己的子分区，但Hive不支持多于两级的嵌套分区。在查询时，我们就可以指定分区查询，避免了hive做全表扫描，从而提高查询效率。
Hive 操作基础（进阶版）多级分区数据文件2
11-04
Hive多级分区是大数据处理中非常重要的一个特性，通过合理设计分区键和分区策略，可以极大地提高数据的管理效率和查询性能，使得Hive在处理大规模数据集时更加高效和灵活。同时，需要留意分区的维护和管理，避免引入...
MaxCompute分区和列操作
胜利的曙光的博客
10-18 3143
MaxCompute分区和列操作语法整理。
【五】hive DDL之Alter Table/Partition/Column
Sid小杰的博客
07-31 9482
Alter Table 允许修改已有表的表结构，例如添加、删除列、改变SerDe、重命名表名。 重命名表明 ALTER TABLE table_name RENAME TO new_table_name; 修改表的属性 可以用这个命令增加表的元数据。 last_modified_user, last_modified_time properties这三个数据是Hive自动管理创建的。...
mysql 创建和修改表分区
Mickle_zhang的专栏
11-26 2376
用alter可以操作表增加分区 ALTER TABLE `xxx_table` PARTITION BY RANGE (id) ( PARTITION p1 VALUES LESS THAN (10000), PARTITION p2 VALUES LESS THAN (20000), PARTITION p3 VALUES LESS THAN (30000), PARTITION p4 VALUES LESS THAN MA...
oracle修改分区
jdk819的博客
07-27 2861
--查看表的所有分区以及所在表空间 select TABLE_NAME,PARTITION_NAME from USER_TAB_PARTITIONS where TABLE_NAME=表名; --删除表分区 alter table 表名 drop partition 分区名 UPDATE GLOBAL INDEXES; --查看现有表空间 select tablespace_name from DBA_TABLESPACES; --增加表分区 alter table 表名 add partitio.
mysql 分区表_MySQL的SQL语句 数据定义语句（6） ALTER TABLE 语句 （5）
weixin_39670511的博客
12-03 776
ALTER TABLE 分区操作ALTER TABLE的分区相关子句可与分区表一起使用，用于重新分区、添加、删除、放弃、导入、合并和拆分分区，以及执行分区维护。●只需在分区表上使用带有partition_options子句的ALTER TABLE，就可以根据partition_options定义的分区方案对表进行重新分区。此子句始终以PARTITION BY开头，并遵循适用于CREATE...
impala中 alter table add partition 对HDFS文件权限的影响
hcq_lxq的博客
11-09 2418
偶然的机会发现用其他用户重写impala用户下的分区数据时有些表报错，有些表不报错，重写报错信息（Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Exception when loading 1 in table）。最后发现都是用impala用户插入的分区数据有些HDFS文件权限是755，有些权限是777。最后发现是因为
Hive 分区， alter添加分区,字段顺序无所谓
Axel_Fran的博客
07-30 535
测试， 不按照 创建语句的分区 字段顺序，添加分区。 效果一样
ALTER TABLE partitioning
weixin_33907511的博客
03-11 192
FROM: http://ss64.com/ora/table_a_part.html ALTER TABLE partitioning Change the partition properties of an existing table.Syntax: ALTER TABLE [schema.]table partitioning_clause [P...
mysql分区 alter_MySql数据分区操作之新增分区操作_MySQL
weixin_33740988的博客
02-02 1441
如果想在已经建好的表上进行分区，如果使用alter添加分区的话，mysql会提示错误：代码如下:ERROR 1505 Partition management on a not partitioned table is not possible正确的方法是新建一个具有分区的表，结构一致，然后用insert into 分区表 select * from 原始表;测试创建分区表文件代码如下:CREAT...
Hive中alter table 对分区表的操作：添加列，修改列，删除历史分区
scp_6453的博客
11-19 6257
alter table 用于在已有的hive表中添加、修改删除列 在分区表中添加新的一列： alter table table_name add columns(columns_name double comment '新列名') cascade; 注意：cascade表示级联，如果不使用cascade，旧的分区将不会改变，只改变新的分区，且此命令在spark下跑不通。 删除分区表中的分区： -- 删除20211119之前分区的数据 alter table table_name drop if exist
greenplum增加二级分区
01-03
在Greenplum数据库中实现多级分区（如一级和二级分区），可以通过创建带有子表的范围或列表分区来完成。对于已经存在的表，如果希望为其增加新的分区层次，则需要通过一系列SQL命令操作。 #### 创建带有一级和二级...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值