ALTER TABLE 分区操作-动态增加一级，多级分区，动态删除分区

最新推荐文章于 2024-04-24 19:02:34 发布
最新推荐文章于 2024-04-24 19:02:34 发布
阅读量3.2k 收藏 1
点赞数
文章标签： spark 大数据 hadoop 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48370579/article/details/127813404
版权

1.8.5.6 ALTER TABLE 分区操作

alter 分区操作包括增加分区和删除分区操作，这种分区操作在Spark3.x之后被支持，spark2.4版本不支持，并且使用时，必须在spark配置中加入spark.sql.extensions属性，其值为：org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions，在添加分区时还支持分区转换，语法如下：

  • 添加分区语法：ALTER TABLE ... ADD PARTITION FIELD
  • 删除分区语法：ALTER TABLE ... DROP PARTITION FIELD

具体操作如下：

  1. 创建表mytbl，并插入数据
val spark: SparkSession = SparkSession.builder().master("local").appName("SparkOperateIceberg")
  //指定hadoop catalog，catalog名称为hadoop_prod
  .config("spark.sql.catalog.hadoop_prod", "org.apache.iceberg.spark.SparkCatalog")
  .config("spark.sql.catalog.hadoop_prod.type", "hadoop")
  .config("spark.sql.catalog.hadoop_prod.warehouse", "hdfs://mycluster/sparkoperateiceberg")
  .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
  .getOrCreate()

//1.创建普通表
spark.sql(
  """
    | create table hadoop_prod.default.mytbl(id int,name string,loc string,ts timestamp) using iceberg
  """.stripMargin)
//2.向表中插入数据，并查询
spark.sql(
  """
    |insert into hadoop_prod.default.mytbl values
    |(1,'zs',"beijing",cast(1608469830 as timestamp)),
    |(3,'ww',"shanghai",cast(1603096230 as timestamp))
  """.stripMargin)
spark.sql("select * from hadoop_prod.default.mytbl").show()

在HDFS中数据存储和结果如下：

  1. 将表loc列添加为分区列，并插入数据，查询
//3.将 loc 列添加成分区,必须添加 config("spark.sql.extensions", "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") 配置
spark.sql(
  """
    |alter table hadoop_prod.default.mytbl add partition field loc
  """.stripMargin)

//4.向表 mytbl中继续插入数据，之前数据没有分区，之后数据有分区
spark.sql(
  """
    |insert into hadoop_prod.default.mytbl values
    |(5,'tq',"hangzhou",cast(1608279630 as timestamp)),
    |(2,'ls',"shandong",cast(1634559630 as timestamp))
  """.stripMargin )
spark.sql("select * from hadoop_prod.default.mytbl").show()

在HDFS中数据存储和结果如下：

注意：添加分区字段是元数据操作，不会改变现有的表数据，新数据将使用新分区写入数据，现有数据将继续保留在原有的布局中。

我的测试：

测试代码：

package com.shujia.spark.iceberg

import org.apache.spark.sql.SparkSession

object AlterTablePartition {
  def main(args: Array[String]): Unit = {

    /**
     * alter 分区操作包括增加分区和删除分区操作，这种分区操作在Spark3.x之后被支持，spark2.4版本不支持，并且使用时，
     * 必须在spark配置中加入spark.sql.extensions属性，
     * 其值为：org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions，在添加分区时还支持分区转换，语法如下：
     *     添加分区语法：ALTER TABLE ... ADD PARTITION FIELD
     *    删除分区语法：ALTER TABLE ... DROP PARTITION FIELD
     *
     */

    val spark: SparkSession = SparkSession
      .builder()
      .appName("SparkOperateIceberg")
      //指定hive catalog, catalog名称为hive_prod
      .config("spark.sql.catalog.hive_prod", "org.apache.iceberg.spark.SparkCatalog")
      .config("spark.sql.catalog.hive_prod.type", "hive")
      .config("spark.sql.catalog.hive_prod.uri", "thrift://master:9083")
      .config("iceberg.engine.hive.enabled", "true")
      // 将 loc 列添加成分区,必须添加
      .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
      .enableHiveSupport()
      .getOrCreate()


    //1.创建普通表
    spark.sql(
      """
        | create table if not exists hive_prod.iceberg.repartition1
        | (id int,name string,loc string,ts timestamp) using iceberg
        |
  """.stripMargin)
    //2.向表中插入数据，并查询
    spark.sql(
      """
        |insert into hive_prod.iceberg.repartition1 values
        |(1,'zs',"beijing",cast(1608469830 as timestamp)),
        |(3,'ww',"shanghai",cast(1603096230 as timestamp))
        |
      """.stripMargin)

    spark.sql("select * from hive_prod.iceberg.repartition1").show()


    //3.将 loc 列添加成分区,必须添加 config("spark.sql.extensions",
    // "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") 配置
    spark.sql(
      """
        |alter table hive_prod.iceberg.repartition1 add partition field loc
        |
  """.stripMargin)

    //4.向表 mytbl中继续插入数据，之前数据没有分区，之后数据有分区
    spark.sql(
      """
        |insert into hive_prod.iceberg.repartition1 values
        |(5,'tq',"hangzhou",cast(1608279630 as timestamp)),
        |(6,'xx',"hangzhou",cast(1608279631 as timestamp)),
        |(2,'ls',"shandong",cast(1634559632 as timestamp))
        |
      """.stripMargin )

    spark.sql("select * from hive_prod.iceberg.repartition1").show()

    //spark 提交任务的命令
    //spark-submit --master yarn --class com.shujia.spark.iceberg.AlterTablePartition spark-1.0.jar
  }
}

  1. 将ts列进行转换作为分区列，插入数据并查询
//5.将 ts 列通过分区转换添加为分区列
spark.sql(
  """
    |alter table hadoop_prod.default.mytbl add partition field years(ts)
  """.stripMargin)

//6.向表 mytbl中继续插入数据，之前数据没有分区，之后数据有分区
spark.sql(
  """
    |insert into hadoop_prod.default.mytbl values
    |(4,'ml',"beijing",cast(1639920630 as timestamp)),
    |(6,'gb',"tianjin",cast(1576843830 as timestamp))
  """.stripMargin )
spark.sql("select * from hadoop_prod.default.mytbl").show()

在HDFS中数据存储和结果如下：

我的测试，在一级分区的基础上再次添加分区

测试代码：

package com.shujia.spark.iceberg

import org.apache.spark.sql.SparkSession

object AlterTable2Partitions {
  def main(args: Array[String]): Unit = {

    val spark: SparkSession = SparkSession
      .builder()
      .appName("SparkOperateIceberg")
      //指定hive catalog, catalog名称为hive_prod
      .config("spark.sql.catalog.hive_prod", "org.apache.iceberg.spark.SparkCatalog")
      .config("spark.sql.catalog.hive_prod.type", "hive")
      .config("spark.sql.catalog.hive_prod.uri", "thrift://master:9083")
      .config("iceberg.engine.hive.enabled", "true")
      // 将 loc 列添加成分区,必须添加
      .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
      .enableHiveSupport()
      .getOrCreate()


    //5.将 ts 列通过分区转换添加为分区列
    spark.sql(
      """
        |alter table hive_prod.iceberg.repartition1 add partition field years(ts)
  """.stripMargin)

    //6.向表 mytbl中继续插入数据，之前数据没有分区，之后数据有分区
    spark.sql(
      """
        |insert into hive_prod.iceberg.repartition1 values
        |(4,'ml',"beijing",cast(1639920630 as timestamp)),
        |(4,'mm',"beijing",cast(1639920639 as timestamp)),
        |(6,'gb',"tianjin",cast(1576843830 as timestamp))
        |
      """.stripMargin )


    spark.sql("select * from hive_prod.iceberg.repartition1").show()

    //spark 提交任务的命令
    //spark-submit --master yarn --class com.shujia.spark.iceberg.AlterTable2Partitions spark-1.0.jar
  }
}

  1. 删除分区loc
//7.删除表 mytbl 中的loc分区
spark.sql(
  """
    |alter table hadoop_prod.default.mytbl drop partition field loc
  """.stripMargin)
//8.继续向表 mytbl 中插入数据，并查询
spark.sql(
  """
    |insert into hadoop_prod.default.mytbl values
    |(4,'ml',"beijing",cast(1639920630 as timestamp)),
    |(6,'gb',"tianjin",cast(1576843830 as timestamp))
  """.stripMargin )
spark.sql("select * from hadoop_prod.default.mytbl").show()

在HDFS中数据存储和结果如下：

注意：由于表中还有ts分区转换之后对应的分区，所以继续插入的数据loc分区为null

我的测试

测试代码：

package com.shujia.spark.iceberg

import org.apache.spark.sql.SparkSession

object DeleteTablePartition {
  def main(args: Array[String]): Unit = {

    /**
     *
     * 删除一个分区
     *
     */
    val spark: SparkSession = SparkSession
      .builder()
      .appName("SparkOperateIceberg")
      //指定hive catalog, catalog名称为hive_prod
      .config("spark.sql.catalog.hive_prod", "org.apache.iceberg.spark.SparkCatalog")
      .config("spark.sql.catalog.hive_prod.type", "hive")
      .config("spark.sql.catalog.hive_prod.uri", "thrift://master:9083")
      .config("iceberg.engine.hive.enabled", "true")
      // 将 loc 列添加成分区,必须添加
      .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
      .enableHiveSupport()
      .getOrCreate()

    //7.删除表 mytbl 中的loc分区
    spark.sql(
      """
        |alter table hive_prod.iceberg.repartition1 drop partition field loc
  """.stripMargin)
    //8.继续向表 mytbl 中插入数据，并查询
    spark.sql(
      """
        |insert into hive_prod.iceberg.repartition1 values
        |(4,'ml',"beijing",cast(1639920630 as timestamp)),
        |(6,'gb',"tianjin",cast(1576843830 as timestamp))
        |
  """.stripMargin )

    spark.sql("select * from hive_prod.iceberg.repartition1").show()
    //spark 提交任务的命令
    //spark-submit --master yarn --class com.shujia.spark.iceberg.DeleteTablePartition spark-1.0.jar
  }
}

  1. 删除分区years(ts)
//9.删除表 mytbl 中的years(ts) 分区
spark.sql(
  """
    |alter table hadoop_prod.default.mytbl drop partition field years(ts)
  """.stripMargin)
//10.继续向表 mytbl 中插入数据，并查询
spark.sql(
  """
    |insert into hadoop_prod.default.mytbl values
    |(5,'tq',"hangzhou",cast(1608279630 as timestamp)),
    |(2,'ls',"shandong",cast(1634559630 as timestamp))
  """.stripMargin )
spark.sql("select * from hadoop_prod.default.mytbl").show()

在HDFS中数据存储和结果如下：

我的测试：

测试代码：

package com.shujia.spark.iceberg

import org.apache.spark.sql.SparkSession

object DeleteTable2Partitions {
  def main(args: Array[String]): Unit = {

    /**
     *
     * 删除一个分区之后再次删除一个分区
     *
     */
    val spark: SparkSession = SparkSession
      .builder()
      .appName("SparkOperateIceberg")
      //指定hive catalog, catalog名称为hive_prod
      .config("spark.sql.catalog.hive_prod", "org.apache.iceberg.spark.SparkCatalog")
      .config("spark.sql.catalog.hive_prod.type", "hive")
      .config("spark.sql.catalog.hive_prod.uri", "thrift://master:9083")
      .config("iceberg.engine.hive.enabled", "true")
      // 将 loc 列添加成分区,必须添加
      .config("spark.sql.extensions", "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
      .enableHiveSupport()
      .getOrCreate()

    //9.删除表 mytbl 中的years(ts) 分区
    spark.sql(
      """
        |alter table hive_prod.iceberg.repartition1 drop partition field years(ts)
  """.stripMargin)
    //10.继续向表 mytbl 中插入数据，并查询
    spark.sql(
      """
        |insert into hive_prod.iceberg.repartition1 values
        |(5,'tq',"hangzhou",cast(1608279630 as timestamp)),
        |(2,'ls',"shandong",cast(1634559630 as timestamp))
  """.stripMargin )
    spark.sql("select * from hive_prod.iceberg.repartition1").show()


    //spark 提交任务的命令
    //spark-submit --master yarn --class com.shujia.spark.iceberg.DeleteTable2Partitions spark-1.0.jar
  }
  }

a-tao必须奥利给
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Oracle 删除表分区
weixin_30897233的博客
11-12 1020
删除表分区(droppartition)删除表分区包含两种操作，分别是：Ø删除分区：altertable[tbname]droppartition[ptname] UPDATEGLOBALINDEXES; Ø删除子分区：altertable[tbname]dropsubpartition[ptname]UPDATEGLOBALIND...
Hive入门全程干货
BackToMe的博客
09-09 837
一、Hive简介 Facebook为了解决海量日志数据的分析而开发了Hive，后来开源给了Apache软件基金会。 Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。 Hive的几个特点： 1. Hive最大的特点是通过类SQL来分析大数据，而避免了写MapReduce程序来分析数据，这样使得分析数据更 容易。 2. 数据是存储在HDFS...
Hive中alter table 对分区表的操作：添加列，修改列，删除历史分区
scp_6453的博客
11-19 5384
alter table 用于在已有的hive表中添加、修改删除列 在分区表中添加新的一列： alter table table_name add columns(columns_name double comment '新列名') cascade; 注意：cascade表示级联，如果不使用cascade，旧的分区将不会改变，只改变新的分区，且此命令在spark下跑不通。 删除分区表中的分区： -- 删除20211119之前分区的数据 alter table table_name drop if exist
clickhouse如何清除多个分区数据 alter table drop partition操作
weixin_43992185的博客
01-31 1197
官网上之有清除单个分区的例子，并没有对清除多个分区的场景进行描述，之前清除分区时也是按照官网例子进行清除分区，今天在执行清除分区语句时，需要解决一次清理多个分区的情况。在进行多次尝试后发现，clickhouse 支持一次清理多个分区数据。官网链接：https://clickhouse.com/docs/zh/sql-reference/statements/alter/partition#drop-partitionpart。通过执行以上语句，成功实现一次清理多个分区的操作。
【数据库SQL】分区的新建与删除（Oracle）
Donald_Knight的博客
05-26 6218
如果数据库中的一张表在建表的时候通过partitioned by()指定了表中的某字段为分区，那么它就是一张分区表。 向分区表中插入数据时，必须通过partition on()指明要把数据插入到哪个分区中，如果不指明分区则无法插入数据。 新建分区 给一张表新建分区的方法如下。 Oracle数据库上，新建分区的写法是这样的： alter table 表名 add partition 分区名 values (‘分区的值’) 示例： alter table DM_TABLE_M_V add partition P
ORACLE删除表分区和数据
小小小小小真的博客
04-28 1万+
– 删除分区,数据也自动删除 alter table 表名 DROP PARTITION 表中分区的名称; 删除表中分区和数据后，会造成索引失效，建议删除分区之后删除表中所有索引 在次重新建立索引 – 只删除数据 alter table 表名 TRUNCATE PARTITION 表中分区的名称; ...
创建表分区
qq_37358143的博客
10-29 1510
==============================表分区========================= --单独新增分区 ALTER TABLE 表名 ADD PARTITION 分区名 values less than (to_date('时间', 'yyyy-mm-dd hh24:mi:ss')) tablespace 表空间名 pctfree 10 i...
mysql分区表的增删改查操作
weixin_44462773的博客
12-01 4794
mysql分区信息的查询、分区表的创建、分区表的增删改查优化及实例介绍
alter table add partition ... location ...语法
热门推荐
攻城狮Kevin
06-21 2万+
目录 结论 建表语句 create table `wxtest`( `groupId` string, `uuid` string, `userId` string, `dt_index` string) partitioned by( `dt` string, `projId` string) row format delimited fields terminated by '\t';...
分区表维护的常用命令：
viviliving的专栏
05-25 2452
分区表维护的常用命令： ALTER TABLE -- DROP -- PARTITION -- ADD | -- RENAME | -- MODIFITY | -- TRUNCATE | -- SPILT | -- MOVE | -- EXCHANGE | 分区索引的常用维护命令： ALTER INDEX -- DROP -- PARTITION -- REBUILD | -- RENAME | -- MODIFITY | -- SPILT | -- PARALLEL -- UNUSABLE 1、
alter table XXXX drop partition xxxx 不释放存储空间问题
weixin_37650796的博客
12-10 5843
对一个分区表进行清理，由于全是local索引，因此执行删除分区脚本 alter table xxxx drop partition xxxx; 执行完毕发现dba_free_space剩余空间没有变化。 后来发现，执行删除分区脚本必须加上update子句才能释放空间，即使没有全局索引。 alter table xxxx drop partition xxxx update global indexes; ...
对分区表进行alter-switch时遇到的错误
09-11
将一个表的数据加入分区表中，可以通过如下步骤进行
MySql数据分区操作之新增分区操作
12-15
如果想在已经建好的表上进行分区，如果使用alter添加分区的话，mysql会提示错误： 代码如下: ERROR 1505 <HY000> Partition management on a not partitioned table is not possible 正确的方法是新建一个具有分区...
MySQL交换分区的实例详解
12-16
MySQL交换分区的实例详解 前言 在介绍交换分区之前，我们先了解一下 ...alter table pt exchange partition p with table nt; 解释： 将 分区表pt 的 分区p 和 一个普通表nt 中的数据 进行互换。 交换的前提条件： 普
Hive分区表
01-07
一：简介 分区表就是根据指定字段的值进行...静态分区: 必须手动显式的添加需要分区的字段值, 分类的值有多少个就要添加多少次 (alter table add partition)。静态分区适合分区字段的值比较少的情况。 动态分区：创建表
mysql alter table命令修改表结构实例详解
12-18
mysql alter table语句可以修改表的基本结构，例如添加字段、删除字段、添加主键、添加索引、修改字段数据类型、对表重命名等等操作，本文章通过两个简单的实例向大家介绍mysql alter table的使用方法。  实例一：...
Spark java.io.NotSerializableException
Aidon博客
04-24 458
Spark core将数据写入MySQL，出现Caused by: java.io.NotSerializableException: com.mysql.cj.jdbc.DatabaseMetaData异常，解决数据反序列化问题，本文将使用两种方案解决其具体问题。
spark实验求TOP值
最新发布
m0_64825044的博客
04-24 877
已知存在两个文本文件，file1.txt和file2.txt，内容分别如下：file1.txtfile2.txt以上两个文件所存储的数据字段的意义为：orderid, userid, payment, productid。
Spark-机器学习（3）回归学习之线性回归
qq_49513817的博客
04-20 3104
今天的文章，我们来学习我们回归中的线性回归，希望大家能有所收获。同时，希望我的文章能帮助到每一个正在学习的你们。也欢迎大家来我的文章下交流讨论，共同进步。
clickhouse alter table partition
09-10
### 回答1： 你可以使用 ALTER TABLE 语句来更改 ClickHouse 表的分区，例如：ALTER TABLE <table_name> MODIFY PARTITION <partition_name> [SETTINGS <parameter_list>]。 ### 回答2： ClickHouse是一个开源的分布式列式数据库管理系统，具有高性能和可扩展性。当需要修改ClickHouse表的分区时，可以使用ALTER TABLE语句。 要修改一个已存在的表的分区，需要使用ALTER TABLE命令及其相关选项。以下是一些常用的ClickHouse ALTER TABLE语句来修改表的分区： 1. 添加分区：可以通过添加新的分区来修改表的分区结构。使用ALTER TABLE语句的ADD PARTITION子句可以添加新的分区。 例如，要在名为my_table的表中添加一个名为new_partition的新分区，可以执行以下命令： ALTER TABLE my_table ADD PARTITION new_partition 2. 删除分区：可以通过删除现有的分区来修改表的分区结构。使用ALTER TABLE语句的DROP PARTITION子句可以删除指定的分区。 例如，要从名为my_table的表中删除名为old_partition的分区，可以执行以下命令： ALTER TABLE my_table DROP PARTITION old_partition 3. 修改分区的更多属性：除了添加和删除分区外，还可以修改分区的其他属性，如分区的名称、分区键（Partition Key）等。 例如，要将名为my_table的表的名为partition1的分区改名为new_partition1，可以执行以下命令： ALTER TABLE my_table MODIFY PARTITION partition1 NAME TO new_partition1 这是ClickHouse ALTER TABLE命令的一些常见用法示例，通过使用这些语句，可以很灵活地修改ClickHouse表的分区结构。请注意，在执行ALTER TABLE语句之前，请确保备份了相关的数据，以防止意外的数据丢失。 ### 回答3： ClickHouse是一个高性能、列式存储的分布式数据库管理系统。通过ALTER TABLE命令，我们可以对ClickHouse中的表进行修改和调整。 对于分区表，可以使用ALTER TABLE命令来添加、删除、修改分区。下面是一些常见的ALTER TABLE操作示例： 1. 添加分区：可以使用ALTER TABLE命令对分区表进行添加分区操作。例如，可以使用以下命令向名为my_table的表中添加名为202201的新分区： ALTER TABLE my_table ADD PARTITION '202201' 2. 删除分区：可以使用ALTER TABLE命令对分区表进行删除分区操作。例如，可以使用以下命令从名为my_table的表中删除名为202201的分区： ALTER TABLE my_table DROP PARTITION '202201' 3. 修改分区：可以使用ALTER TABLE命令对分区表进行修改分区操作。例如，可以使用以下命令将名为202201的分区的类型修改为按月分区： ALTER TABLE my_table MODIFY PARTITION '202201' TYPE = 'MONTH' 需要注意的是，对于大表进行分区的操作可能会造成一些性能损耗和数据迁移时间。因此，如果要对分区表进行频繁的修改操作，需要谨慎考虑分区策略和数据管理的成本。 总之，使用ALTER TABLE命令，我们可以对ClickHouse中的分区表进行添加、删除和修改分区操作，以满足不同的数据管理需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值