Iceberg1.4.2 java 表管理（DDL和DML）操作

已于 2023-12-25 12:10:43 修改
阅读量711 收藏 9
点赞数 9
文章标签： java 开发语言
于 2023-12-25 11:11:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smileyboy2009/article/details/135193803
版权

数据湖目前最大的问题是缺少数据治理能力，像元数据管理，表管理等能力都没有，一般这种管理需要通过web应用进行管理。通过可视化进行管理，目前像iceberg，huidi和delta.io目前主流主要这三种表管理格式，只有lceberg提供java API进行表的创建，修改展示，也可以通过java写入数据和查询数据。既然是一种开放的表管理格式，那就不应该依赖hadoop，hive，spark，flink等这些组件。直接用java，go，python等语言可以操作，不应该过度依赖，这一点iceberg做的很好，目标是做一个标准，不是像hudi做成一个数据库，脱离了对数据湖，开放表格式的意义。目前delta.io已经支持iceberg的标准。相信后面数据湖的格式一定是实现统一的标准格式。

下面具体介绍以下基于Iceberg1.4.2的java 操作，通过java 创建表，操作表，写入数据和查询数据。对于组件的依赖版本不同，调试很长时间，解决了版本依赖。这里面有spark，iceberg，minio等。这里主要使用的java api.直接复制下面的依赖，可以把spark去掉。

  <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.13</artifactId>
            <version>3.5.0</version>
        </dependency>
        <dependency>
            <groupId>io.delta</groupId>
            <artifactId>delta-spark_2.12</artifactId>
            <version>3.0.0</version>
        </dependency>
        <!--  https://mvnrepository.com/artifact/org.apache.iceberg/iceberg-core  -->
        <dependency>
            <groupId>org.apache.iceberg</groupId>
            <artifactId>iceberg-core</artifactId>
            <version>1.4.2</version>
        </dependency>

        <dependency>
            <groupId>io.minio</groupId>
            <artifactId>minio</artifactId>
            <version>8.5.7</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.amazonaws/aws-java-sdk-s3 -->
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-s3</artifactId>
            <version>1.12.620</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-aws</artifactId>
            <version>3.2.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.parquet</groupId>
            <artifactId>parquet-hadoop</artifactId>
            <version>1.13.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.iceberg</groupId>
            <artifactId>iceberg-api</artifactId>
            <version>1.4.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.iceberg</groupId>
            <artifactId>iceberg-bundled-guava</artifactId>
            <version>1.4.2</version>


        </dependency>
        <!-- 其他依赖库 -->
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>2.15.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.iceberg</groupId>
            <artifactId>iceberg-common</artifactId>
            <version>1.4.2</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.iceberg/iceberg-parquet -->
        <dependency>
            <groupId>org.apache.iceberg</groupId>
            <artifactId>iceberg-parquet</artifactId>
            <version>1.4.2</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.iceberg/iceberg-aws -->
        <dependency>
            <groupId>org.apache.iceberg</groupId>
            <artifactId>iceberg-aws</artifactId>
            <version>1.4.2</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.iceberg/iceberg-common -->
        <dependency>
            <groupId>org.apache.iceberg</groupId>
            <artifactId>iceberg-common</artifactId>
            <version>1.4.2</version>
            <scope>runtime</scope>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.iceberg/iceberg-arrow -->
        <dependency>
            <groupId>org.apache.iceberg</groupId>
            <artifactId>iceberg-arrow</artifactId>
            <version>1.4.2</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.iceberg/iceberg-data -->
        <dependency>
            <groupId>org.apache.iceberg</groupId>
            <artifactId>iceberg-data</artifactId>
            <version>1.4.2</version>
        </dependency>

针对操作首先需要创建，这个案例采用的是minio 存储，没有用hadoop,配置minio的环境。

  Configuration conf = new Configuration();
        conf.set("fs.s3a.aws.credentials.provider"," com.amazonaws.auth.InstanceProfileCredentialsProvider,org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider,com.amazonaws.auth.EnvironmentVariableCredentialsProvider");
        conf.set("fs.s3a.connection.ssl.enabled", "false");
        conf.set("fs.s3a.endpoint", "http://127.0.0.1:9000");
        conf.set("fs.s3a.access.key", "minioadmin");
        conf.set("fs.s3a.secret.key", "minioadmin");
        conf.set("fs.s3a.path.style.access", "true");
        conf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem");
        conf.set("fs.s3a.fast.upload", "true");


        String warehousePath = "s3a://test/";//minio bucket 路径
        System.out.println(warehousePath);
        HadoopCatalog catalog = new HadoopCatalog(conf, warehousePath);
        System.out.println(catalog.name());
        TableIdentifier name = TableIdentifier.of("iceberg_db", "table_ice");

接下来创建表

// 定义表结构schema
        Schema schema = new Schema(
                //Types.NestedField.required(1, "level", Types.StringType.get()),
                //Types.NestedField.required(2, "event_time", Types.TimestampType.withZone()),
                //Types.NestedField.required(3, "message", Types.StringType.get()),
                //Types.NestedField.optional(4, "call_stack", Types.ListType.ofRequired(5, Types.StringType.get()))
                Types.NestedField.required(1, "id", Types.IntegerType.get()),
                Types.NestedField.required(2, "name", Types.StringType.get()),
                Types.NestedField.required(3, "birth", Types.StringType.get())
        );

// 分区定义(以birth字段按月进行分区)
        PartitionSpec spec = PartitionSpec.builderFor(schema)

                .identity("id")
                .build();

// 数据库名,表名
        HadoopTables tables = new HadoopTables();
      //  TableIdentifier name1 = TableIdentifier.of("iceberg_db1", "developer2");
// 表的属性
       // Map<String, String> properties = new HashMap<String, String>();
        //properties.put("engine.hive.enabled", "true");
// 建表
       // Table table = catalog.createTable(name, schema, spec, properties);
      //  System.out.println("创建遍完成");
        // 建数据库，没有就创建有就不管
        if (!catalog.namespaceExists(Namespace.of("/iceberg_db1"))) {
            catalog.createNamespace(Namespace.of("/iceberg_db1"));
        }
        Table table = null;
        // 判断表存在不存在
       if(!catalog.tableExists(name)) {
           table = catalog.createTable(name, schema, spec);

       }else{
           System.out.println("表已经存在");
           table=catalog.loadTable(name);
       }

接下来，通过java向iceberg写入数据

public void javaCatalogAppend(Schema schema,Table table)throws IOException {
        //1,构建表，构建插入数据
        GenericRecord record = GenericRecord.create(schema);
        ImmutableList.Builder<GenericRecord> builder = ImmutableList.builder();
        builder.add(record.copy(ImmutableMap.of("id", 1, "name", "liuyang", "birth", "2020-03-08")));
        builder.add(record.copy(ImmutableMap.of("id", 2, "name", "chengx", "birth", "2021-03-09")));
        ImmutableList<GenericRecord> records = builder.build();
        // 2. 将记录写入parquet文件
        System.out.println("table.location(): " + table.location());
        String filepath = table.location() + "/" + UUID.randomUUID().toString();
        OutputFile file = table.io().newOutputFile(filepath);
        DataWriter<GenericRecord> dataWriter =
                Parquet.writeData(file)
                        .schema(schema)
                        .createWriterFunc(GenericParquetWriter::buildWriter)
                        .overwrite()
                        .withSpec(PartitionSpec.unpartitioned())
                        .build();
        try {
            dataWriter.write(records);
        } finally {
            dataWriter.close();
        }

        // 3. 将文件写入table中
        DataFile dataFile = dataWriter.toDataFile();
        table.newAppend().appendFile(dataFile).commit();
    }

通过Java查询数据CatalogScan

private void javaCatalogScan(Table table) {
        IcebergGenerics.ScanBuilder scanBuilder = IcebergGenerics.read(table);

        CloseableIterable<Record> records = scanBuilder.build();

        for (Record r : records) {
            System.out.print(r.get(0));
            System.out.print("|");
            System.out.print(r.get(1));
            System.out.print("|");
            System.out.print(r.get(2));
            System.out.println();
        }
    }

附带完整例子

import com.google.common.collect.ImmutableList;
import com.google.common.collect.ImmutableMap;
import org.apache.hadoop.conf.Configuration;
import org.apache.iceberg.DataFile;
import org.apache.iceberg.PartitionSpec;
import org.apache.iceberg.Schema;
import org.apache.iceberg.Table;
import org.apache.iceberg.catalog.Namespace;
import org.apache.iceberg.catalog.TableIdentifier;
import org.apache.iceberg.data.GenericRecord;
import org.apache.iceberg.data.IcebergGenerics;
import org.apache.iceberg.data.Record;
import org.apache.iceberg.data.parquet.GenericParquetWriter;
import org.apache.iceberg.hadoop.HadoopCatalog;
import org.apache.iceberg.hadoop.HadoopTables;
import org.apache.iceberg.io.CloseableIterable;
import org.apache.iceberg.io.DataWriter;
import org.apache.iceberg.io.OutputFile;
import org.apache.iceberg.parquet.Parquet;
import org.apache.iceberg.types.Types;

import java.io.IOException;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;
import java.util.UUID;

public class icebergapi {
    public static void main(String[] args)
            throws IOException, NoSuchAlgorithmException, InvalidKeyException {
        Configuration conf = new Configuration();
        conf.set("fs.s3a.aws.credentials.provider"," com.amazonaws.auth.InstanceProfileCredentialsProvider,org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider,com.amazonaws.auth.EnvironmentVariableCredentialsProvider");
        conf.set("fs.s3a.connection.ssl.enabled", "false");
        conf.set("fs.s3a.endpoint", "http://127.0.0.1:9000");
        conf.set("fs.s3a.access.key", "minioadmin");
        conf.set("fs.s3a.secret.key", "minioadmin");
        conf.set("fs.s3a.path.style.access", "true");
        conf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem");
        conf.set("fs.s3a.fast.upload", "true");


        String warehousePath = "s3a://test/";//minio bucket 路径
        System.out.println(warehousePath);
        HadoopCatalog catalog = new HadoopCatalog(conf, warehousePath);
        System.out.println(catalog.name());
        TableIdentifier name = TableIdentifier.of("iceberg_db", "table_ice");

        // 定义表结构schema
        Schema schema = new Schema(
                //Types.NestedField.required(1, "level", Types.StringType.get()),
                //Types.NestedField.required(2, "event_time", Types.TimestampType.withZone()),
                //Types.NestedField.required(3, "message", Types.StringType.get()),
                //Types.NestedField.optional(4, "call_stack", Types.ListType.ofRequired(5, Types.StringType.get()))
                Types.NestedField.required(1, "id", Types.IntegerType.get()),
                Types.NestedField.required(2, "name", Types.StringType.get()),
                Types.NestedField.required(3, "birth", Types.StringType.get())
        );

// 分区定义(以birth字段按月进行分区)
        PartitionSpec spec = PartitionSpec.builderFor(schema)

                .identity("id")
                .build();

// 数据库名,表名
        HadoopTables tables = new HadoopTables();
      //  TableIdentifier name1 = TableIdentifier.of("iceberg_db1", "developer2");
// 表的属性
       // Map<String, String> properties = new HashMap<String, String>();
        //properties.put("engine.hive.enabled", "true");
// 建表
       // Table table = catalog.createTable(name, schema, spec, properties);
      //  System.out.println("创建遍完成");
        // 建数据库，没有就创建有就不管
        if (!catalog.namespaceExists(Namespace.of("/iceberg_db1"))) {
            catalog.createNamespace(Namespace.of("/iceberg_db1"));
        }
        Table table = null;
        // 判断表存在不存在
       if(!catalog.tableExists(name)) {
           table = catalog.createTable(name, schema, spec);

       }else{
           System.out.println("表已经存在");
           table=catalog.loadTable(name);
       }
        icebergapi api=new icebergapi();
       //写入数据
        api.javaCatalogAppend(schema,table);
        //查询数据
        api.javaCatalogScan(table);
    }



    public void javaCatalogAppend(Schema schema,Table table)throws IOException {
        //1,构建表，构建插入数据
        GenericRecord record = GenericRecord.create(schema);
        ImmutableList.Builder<GenericRecord> builder = ImmutableList.builder();
        builder.add(record.copy(ImmutableMap.of("id", 1, "name", "liuyang", "birth", "2020-03-08")));
        builder.add(record.copy(ImmutableMap.of("id", 2, "name", "chengx", "birth", "2021-03-09")));
        ImmutableList<GenericRecord> records = builder.build();
        // 2. 将记录写入parquet文件
        System.out.println("table.location(): " + table.location());
        String filepath = table.location() + "/" + UUID.randomUUID().toString();
        OutputFile file = table.io().newOutputFile(filepath);
        DataWriter<GenericRecord> dataWriter =
                Parquet.writeData(file)
                        .schema(schema)
                        .createWriterFunc(GenericParquetWriter::buildWriter)
                        .overwrite()
                        .withSpec(PartitionSpec.unpartitioned())
                        .build();
        try {
            dataWriter.write(records);
        } finally {
            dataWriter.close();
        }

        // 3. 将文件写入table中
        DataFile dataFile = dataWriter.toDataFile();
        table.newAppend().appendFile(dataFile).commit();
    }
    private void javaCatalogScan(Table table) {
        IcebergGenerics.ScanBuilder scanBuilder = IcebergGenerics.read(table);

        CloseableIterable<Record> records = scanBuilder.build();

        for (Record r : records) {
            System.out.print(r.get(0));
            System.out.print("|");
            System.out.print(r.get(1));
            System.out.print("|");
            System.out.print(r.get(2));
            System.out.println();
        }
    }
}

smileyboy2009
关注
Iceberg与SparkSQL整合DDL操作
SunnyRivers
09-06 854
使用SparkSql操作Iceberg表之前我们得先配置好catalog，配置方式参考[这篇博客]。
Iceberg与SparkSQL写操作整合
SunnyRivers
09-09 259
spark操作iceberg之前先要配置spark catalogs，详情参考Iceberg与Spark整合环境配置。有些操作需要在spark3中开启iceberg sql扩展。Iceberg使用Apache Spark的DataSourceV2 API来实现数据源和catalog。
【无标题】
qq_29922903的博客
05-21 1527
IceBerg+Minio+Hms+K8s环境下，使用Java API插入数据pom.xml数据写入非分区表写入结果数据写入分区表 网上搜了不少文章，但是都是只包含了写入非分区表的用法，基本上没有看到分区表的写入案例。下面代码包含了分区表和非分区表的用法。都是在生产中使用的 pom.xml <dependencies> <dependency> <groupId>org.apache.iceberg</groupId>
Iceberg Java API使用之 Hive Catalog方式
qq_55862537的博客
08-21 784
对于iceberg表，可以分为四部分，表结构定义（schema）、分区定义（partitionSpec）、表的属性（properties），以及表的唯一识别信息（identity）即表所属的数据库与表名。创建表时需要先定义这四部分在对其创建。对于hive类型的catalog，主要指定数据库存储位置，以及hive metastore server的URI。根据实际情况来决定是否需要这一步 直接创建表。2,将记录写入parquet文件。3,将文件写入到table中。
JavaWeb笔记整理02——MYSQL-DDL、DML、DQL
hello77的blogggg 祝你得偿所愿
08-04 202
在哆啦A梦的四次元口袋里，每一件道具都是一个解决日常问题的神奇工具。而在数据的世界中，MySQL就像是哆啦A梦的口袋，里面充满了解决数据难题的神奇能力。
Iceberg java API +minio 开发web catalog
smileyboy2009的专栏
12-19 814
我们现在数据湖产品，开发基本上都是大数据人员操作，能不能java 开发，比如用java web 开发在线创建表，创建分区，在线修改表字段。做数据湖Iceberg的元数据管理呢，因为我们大部分的表修改希望通过应用修改，并查看应用。对java人员，最麻烦就是安装hadoop，hive，现在这个例子，不需要hadoop和hive，对Iceberg数据湖进行表管理开发。接下来将在window上，通过一个demo例子来实现java 版的iceberg开发和应用。下面。
iceberg的java api使用
hncscwc的博客
03-11 2367
【前言】了解一个组件的最好方式是先使用该组件，今天我们就来聊聊如何通过java api对iceberg进行操作。为什么是选择api进行介绍，而不是更通用的flink、spark、hive等。一方面是觉得flink、spark使用iceberg的介绍网上已经有很多，官网的介绍也比较清晰，而java api的介绍则相对少些；另一方面，不管是flink，spark最终都还是调用这些基本的api完成相关的...
oracle事务
jomedy的专栏
05-21 1194
Oracle的一个事务是以第一个可执行的SQL语句开始，当下列事件之一发生时结束。 1 用户执行了COMMIT 2 用户执行了ROLLBACK 3 用户执行了DDL语句（自动提交） 4 用户执行了DCL语句（自动提交） 5 用户正常退出SQLPLUS（自动提交） 6 用户非正常退出SQLPLUS（自动回滚） 7 系统崩溃（自动回滚）       注： 1. 数据查询语言
使用Scala/Java对Iceberg数据湖各模块进行操作(metadata、scanning、update、transactions、types、expressions)
Bulut0907
04-18 2614
目录1. 表metadata API2. 表Scanning2.1 File Level2.2 Row level3. 表update操作4. Transactions5. Types数据类型5.1 基础数据类型5.2 集合数据类型6. Expressions表达式7. Iceberg各模块说明 下面以Hadoop Catalog为例进行讲解 1. 表metadata API import org.apache.hadoop.conf.Configuration import org.apache.ic
尚硅谷大数据技术之数据湖Iceberg-1.1.0.docx
03-06
- **统一接口**：Iceberg 同时提供流/批读接口和流/批写接口，使得在一个流程内同时处理流数据和批数据成为可能，从而简化了 ETL (Extract, Transform, Load) 链路。 - **1.2.3 数据表结构演变（Table Evolution）...
Iceberg与SparkSQL查询操作整合
最新发布
SunnyRivers
09-10 301
spark操作iceberg之前先要配置spark catalogs，详情参考Iceberg与Spark整合环境配置。Iceberg使用Apache Spark的DataSourceV2 API来实现数据源和catalog。
数据湖（十三）：Spark与Iceberg整合DDL操作
Lansonli（蓝深李）的博客
07-04 1135
文章目录Spark与Iceberg整合DDL操作一、​​​​​​​CREATE TABLE 创建表二、​​​​​​​​​​​​​​CREATE TAEBL ... AS SELECT1、创建表hadoop_prod.default.mytbl,并插入数据2、使用“create table ... as select”语法创建表mytal2并查询 三、REPLACE TABLE ... AS SELECT1、创建表“hadoop_prod.default.mytbl3”，并插入数据、展示2、重建表“hado
走进 Iceberg Java API 系列 1- Catalog
杂记
06-30 2351
随着Iceberg集成到越来越多的计算引擎中，有各种提供了强大功能的接口可以供你使用。本系列将介绍在没有引擎的情况下使用冰山表的底层Java API，而本文是本系列的第一篇。
HBASE基础（三）使用Java API实现DDL与DML
云来山更佳，云去山如画
05-25 1689
本文简述使用Java API实现对HBASE的DDL与DML
使用Java/Scala API对Iceberg数据湖进行snapshot快照expire过期处理
Bulut0907
04-19 875
目录1. expire过期处理的作用2. 查看表snapshot-log3. expire过期程序3.1 pom.xml3.2 放置hdfs-site.xml3.3 flink_test.scala4. 运行程序5. 查看结果 1. expire过期处理的作用 expire过期的snapshot-id，就不会出现在新的vN.metadata.json文件中 2. 查看表snapshot-log 查看最新版本的vN.metadata.json，显示的snapshot-log部分如下： "snapshot-lo
JavaWeb学习笔记（二）DDL、DML、DQL
KuriyamaM的博客
02-14 410
JavaWeb学习笔记（二）DDL、DML、DQL
java mysql ddl_JavaWeb - 数据库基础 - DDL、DML、DQL、约束
weixin_34565946的博客
02-24 197
1.MySQL服务启动和关闭*命令台下输入services.msc*或者以管理员身份启动cmd, 输入 net start mysql2.MySQL登录和退出* mysql -uroot -p 加密码访问其他用户的mysql： cmd下输入 ： mysql -h+IP地址 -uroot -p+连接谁，就敲谁的密码或者mysql --host = ip地址 --user = root --pa...
初识 Apache Iceberg 及自动化 Iceberg 表维护（小文件治理）
weixin_39750695的博客
07-05 1644
Apache Iceberg 架构迁徙及 自动化小文件治理方案
Iceberg从入门到精通系列之二十二：Spark DDL
zhengzaifeidelushang的博客
02-01 1966
新创建的表不会继承 SELECT 中源表的分区规范和表属性，您可以使用 CTAS 中的 PARTITIONED BY 和 TBLPROPERTIES 来声明新表的分区规范和表属性。新数据将使用新分区写入，但现有数据将保留在旧分区布局中。当表的分区发生变化时，动态分区覆盖行为也会发生变化，因为动态覆盖会隐式替换分区。例如，如果您按天分区并改为按小时分区，则覆盖将覆盖每小时分区，但不再覆盖天分区。例如，如果您按天分区并转为按小时分区，则覆盖将覆盖每小时分区，但不再覆盖天分区。
使用Flink和Iceberg构建实时数据湖实践
Apache Flink是一个强大的流处理框架，而Iceberg则是一种分布式数据存储系统，专门设计用于管理大规模的批处理和流处理数据。以下是对该主题的详细解释： 1. **Apache Flink**: Flink是一个开源的流处理框架，支持...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值