flink1.14.4 + iceberg0.13.2 + Hive2.1.1 + presto0.273.3 + yanagishima 18.0 + FineBI5.1.24 (一）

已于 2022-07-15 09:42:20 修改
阅读量478 收藏 1
点赞数
分类专栏： Iceberg 文章标签： 大数据 java
于 2022-07-11 14:24:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiangjiangaa666/article/details/125715597
版权

1. 环境准备

确定 cdh 环境，flink集群已经准备好
cdh 6.3.2
flink1.14.4
scala2.11
hive 2.1.1

2. 需要的包

iceberg集成flink包
https://iceberg.apache.org/multi-engine-support/#apache-flink
在这里插入图片描述

flink连接hive的包
https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-hive-2.2.0_2.11/1.14.4/
在这里插入图片描述

iceberg集成hive的包
https://iceberg.apache.org/multi-engine-support/#apache-flink
在这里插入图片描述

3. 创建名为flink-iceberg的maven项目

pom文件如下

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>flink_iceberg</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <flink.version>1.14.4</flink.version>
        <scala.binary.version>2.11</scala.binary.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
            <!--      <scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <!--      <scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <!--      <scope>provided</scope>-->
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java-bridge_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-common</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>com.ververica</groupId>
            <artifactId>flink-connector-mysql-cdc</artifactId>
            <version>2.2.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.kafka</groupId>
                    <artifactId>kafka-clients</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-json</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.7</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.68</version>
        </dependency>

    </dependencies>

<build>
    <plugins>
        <plugin>
            <artifactId>maven-assembly-plugin</artifactId>
            <configuration>
                <appendAssemblyId>false</appendAssemblyId>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
        <plugin>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.1</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
                <encoding>UTF-8</encoding>
                <compilerArgs>
                    <arg>-verbose</arg>
                    <arg>-Xlint:unchecked</arg>
                    <arg>-Xlint:deprecation</arg>
                    <arg>-bootclasspath</arg>
                    <arg>D:\common_jar\flink-sql-connector-hive-2.2.0_2.11-1.14.4.jar;D:\common_jar\iceberg-flink-runtime-1.14-0.13.2.jar</arg>
                   <arg>-extdirs</arg>
                    <arg>${project.basedir}/src/lib</arg>
                </compilerArgs>
            </configuration>
        </plugin>

    </plugins>
</build>

</project>

将HDFS、HIVE的配置文件复制到resource目录下，配置文件可以登录CDH集群进行下载
在这里插入图片描述

在这里插入图片描述
将iceberg集成flink，flink连接hive的包通过第三方jar的方式引入项目
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4. FlinkSQL 程序 写入iceberg

4.1 通过HadoopCatalog 创建表

创建包work.jiang.iceberg.flinksql
在包下创建类FlinkSQLWriteHadoopCatalogIcebergTable
代码如下

package work.jiang.iceberg.flinksql.hadoopcatalog;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

public class FlinkSQLWriteHadoopCatalogIcebergTable {
    public static void main(String[] args) throws Exception {
        //创建flink执行环境
        System.setProperty("HADOOP_USER_NAME", "hdfs");

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();

        env.setParallelism(1);

        env.enableCheckpointing(10000);

        StreamTableEnvironment tbenv = StreamTableEnvironment.create(env, bsSettings);

        // 使用hadoop_catalog的方式创建iceberg表
        tbenv.executeSql("CREATE CATALOG hadoop_catalog WITH ( \n" +
                "    'type'='iceberg',\n" +
                "    'catalog-type'='hadoop', \n" +
                "    'warehouse'='hdfs://cdh01:8020/user/iceberg/hadoop_catalog', \n" +
                "    'property-version'='1'\n" +
                ")");

        tbenv.executeSql("CREATE DATABASE if not exists iceberg_db");

        tbenv.executeSql("CREATE TABLE if not exists hadoop_catalog.iceberg_db.t_iceberg_sample_1 (\n" +
                "    id BIGINT COMMENT 'unique id',\n" +
                "    data STRING\n" +
                ")WITH (\n" +
                "  'type'='iceberg',\n" +
                "  'catalog-type'='hadoop',\n" +
                "  'warehouse'='hdfs://cdh01:8020/user/iceberg/hadoop_catalog/iceberg_db/t_iceberg_sample_1',\n" +
                "  'property-version'='1'\n" +
                ")");

        tbenv.executeSql("insert into hadoop_catalog.iceberg_db.t_iceberg_sample_1(id, data) values(10, '2021-04-29 17:38:00')");

        tbenv.executeSql("SELECT * FROM hadoop_catalog.iceberg_db.t_iceberg_sample_1");
    }
}

直接运行代码，到hdfs文件目录下，会看到表的目录已经创建成功了
在这里插入图片描述
表目录里边是data（数据文件）、metadta（元数据文件）、temp（临时文件），目录结构如下图。data数据文件里边是分区（如果建表的时候加分区了），分区里边是具体的parquet文件，iceberg数据默认以parquet格式存储，也可以指定为avro、orc格式。metadata文件里边是Manifest清单文件、Snapshot快照文件、TableMetaData表元数据文件、Current Table Version Pointer描述当前表元数据使用的是哪个版本。
在这里插入图片描述

4.2 flinksql批量读取hadoopcatalog 类型的iceberg表

创建类work.jiang.iceberg.flinksql.FlinkSQLButchReadIceberg
代码如下

package work.jiang.iceberg.flinksql.hadoopcatalog;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

public class FlinkSQLReadHadoopCatalogIcebergTable {
    public static void main(String[] args) throws Exception {
        // 创建flink执行环境
        System.setProperty("HADOOP_USER_NAME", "hdfs");

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();

        env.setParallelism(1);

        env.enableCheckpointing(10000);

        StreamTableEnvironment tbenv = StreamTableEnvironment.create(env, bsSettings);

        // 查询的时候，需要创建CATALOG
        tbenv.executeSql("CREATE CATALOG hadoop_catalog WITH ( \n" +
                "    'type'='iceberg',\n" +
                "    'catalog-type'='hadoop', \n" +
                "    'warehouse'='hdfs://cdh01:8020/user/iceberg/hadoop_catalog', \n" +
                "    'property-version'='1'\n" +
                ")");

        tbenv.executeSql("CREATE DATABASE if not exists iceberg_db");

        // 目前不支持语法 tbenv.executeSql(" set execution.runtime-mode = streaming");
        // 使用FlinkSQL程序的方式读取iceberg不太可行，可以使用FlinkStream 方式读取 iceberg
     
        // 控制台没有打印出结果
        tbenv.executeSql("SELECT * FROM hadoop_catalog.iceberg_db.t_iceberg_sample_1");
    }
}

4.3 FlinkSQL 程序方式创建catalog 类型为hive 的iceberg表

创建类work.jiang.iceberg.flinksql.hivecatalog.FlinkSQLWriteHiveCatalogIcebergTable
代码如下

package work.jiang.iceberg.flinksql.hivecatalog;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

public class FlinkSQLWriteHiveCatalogIcebergTable {
    public static void main(String[] args) throws Exception {
        // 创建flink执行环境
        System.setProperty("HADOOP_USER_NAME", "hdfs");

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();

        env.setParallelism(1);

        env.enableCheckpointing(10000);

        StreamTableEnvironment tbenv = StreamTableEnvironment.create(env, bsSettings);

        // 使用hive_catalog的形式创建表
        tbenv.executeSql("CREATE CATALOG hive_catalog WITH (\n" +
                "  'type'='iceberg',\n" +
                "  'catalog-type'='hive',\n" +
                "  'uri'='thrift://cdh01:9083',\n" +
                "  'clients'='5',\n" +
                "  'property-version'='1',\n" +
                "  'warehouse'='hdfs://cdh01:8020/user/iceberg/hive_catalog'\n" +
                ")");

         tbenv.executeSql("CREATE DATABASE if not exists hive_catalog.iceberg_db_hive");

         // 简单表，hive里边查询不出数据，不建议这种方式建表
         //tbenv.executeSql("CREATE TABLE  if not exists `hive_catalog`.`iceberg_db_hive`.`sample` (\n" +
         //       "    id BIGINT COMMENT 'unique id',\n" +
         //      "    data STRING\n" +
         //      ")");

        // 建表时，在表属性中配置hive的信息，可以使数据自动同步到hive
        tbenv.executeSql("CREATE TABLE if not exists `hive_catalog`.`iceberg_db_hive`.`sample` (\n" +
                "    id BIGINT COMMENT 'unique id',\n" +
                "    data STRING\n" +
                ")WITH (\n" +
                "\t'format-version'='1',\n" +
                "\t'iceberg.mr.catalog'='hive',\n" +
                "\t'engine.hive.enabled'='true',\n" +
                "\t'catalog-name'='hive_catalog',\n" +
                "\t'catalog-database'='iceberg_db_hive',\n" +
                "    'type'='iceberg',\n" +
                "\t'uri'='thrift://cdh01:9083',\n" +
                "    'catalog-type'='hive',\n" +
                "    'warehouse'='hdfs://cdh01:8020/user/iceberg/hive_catalog/iceberg_db/sample'\n" +
                ")");

        tbenv.executeSql("insert into hive_catalog.iceberg_db_hive.sample(id,data) values (2,'bb')");

        tbenv.executeSql("select * from hive_catalog.iceberg_db_hive.sample");
    }
}

4.4 FlinkSQL 读取 hivecatalog类型的iceberg表

package work.jiang.iceberg.flinksql.hivecatalog;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

public class FlinkSQLReadHiveCatalogIcebergTable {
    public static void main(String[] args) throws Exception {
        // 创建flink执行环境
        System.setProperty("HADOOP_USER_NAME", "hdfs");

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();

        env.setParallelism(1);

        env.enableCheckpointing(10000);

        StreamTableEnvironment tbenv = StreamTableEnvironment.create(env, bsSettings);

        tbenv.executeSql("CREATE CATALOG hive_catalog WITH (\n" +
                "  'type'='iceberg',\n" +
                "  'catalog-type'='hive',\n" +
                "  'uri'='thrift://cdh01:9083',\n" +
                "  'clients'='5',\n" +
                "  'property-version'='1',\n" +
                "  'warehouse'='hdfs://cdh01:8020/user/iceberg/hive_catalog'\n" +
                ")");

        tbenv.executeSql("CREATE DATABASE if not exists hive_catalog.iceberg_db_hive");

        tbenv.executeSql("select * from hive_catalog.iceberg_db_hive.sample");
    }
}

5. FlinkSQL 使用命令行的方式操作iceberg

启动flinksql，把jar包加载进去,第二次及n次查询，都需要创建catalog

[root@flink01 flink-1.14.4]# bin/sql-client.sh embedded -j lib/iceberg-flink-runtime-1.14-0.13.2.jar -j lib/flink-sql-connector-hive-2.2.0_2.11-1.14.4.jar shell

– 1. 创建hadoop_catalog

Flink SQL> CREATE CATALOG hadoop_catalog WITH (
  'type'='iceberg',
  'catalog-type'='hadoop',
  'warehouse'='hdfs://cdh01:8020/user/iceberg/hadoop_catalog',
  'property-version'='1'
);

Flink SQL> show catalogs;

– 2. 创建database

Flink SQL> CREATE DATABASE if not exists iceberg_db;

– 3.创建非分区表和分区表

Flink SQL> DROP TABLE hadoop_catalog.iceberg_db.t_iceberg_sample_1;
Flink SQL> CREATE TABLE hadoop_catalog.iceberg_db.t_iceberg_sample_1 ( 
    id BIGINT COMMENT 'unique id',
    data STRING
)WITH (
    'type'='iceberg',
    'catalog-type'='hadoop',
    'warehouse'='hdfs://cdh01:8020/user/iceberg/hadoop_catalog/iceberg_db/t_iceberg_sample_1',
    'property-version'='1'
);

Flink SQL> insert into hadoop_catalog.iceberg_db.t_iceberg_sample_1(id, data) values(10, 'ff');

Flink SQL> SET sql-client.execution.result-mode=tableau;
Flink SQL> select * from hadoop_catalog.iceberg_db.t_iceberg_sample_1;

–分区表

Flink SQL> DROP TABLE hadoop_catalog.iceberg_db.sample_iceberg_partition;
Flink SQL> CREATE TABLE hadoop_catalog.iceberg_db.sample_iceberg_partition (
    id BIGINT COMMENT 'unique id',
    data STRING
) PARTITIONED BY (data)
WITH (
    'type'='iceberg',
    'catalog-type'='hadoop',
    'warehouse'='hdfs://cdh01:8020/user/iceberg/hadoop_catalog/iceberg_db/sample_iceberg_partition',
    'property-version'='1'
);

Flink SQL> INSERT into hadoop_catalog.iceberg_db.sample_iceberg_partition PARTITION(data='aa') SELECT id FROM hadoop_catalog.iceberg_db.t_iceberg_sample_1  WHERE data = 'aa';

Flink SQL> select *from hadoop_catalog.iceberg_db.sample_iceberg_partition;

– 4.查看存储结构

[root@cdh01 flink]# hadoop fs -ls -r hdfs://cdh01:8020/user/iceberg/hadoop_catalog/iceberg_db/t_iceberg_sample_1/metadata
可靠的姜齐双鱼
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink集成Hive之快速入门--以Flink1.12为例
jmx_bigdata的博客
12-21 6138
使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。Flink从1.9开始支持集成Hive，不过1.9版本为beta版，不推荐在生产环境中使用。在Flink1.10版本中，标志着对 Blink的整合宣告完成，对 Hive 的集成也达到了生产级别的要求。值得注意的是，不同版本的Flink对于Hive的集成有所差异，本文将以最新的Flink1.12版本为例，阐述Flink集成Hive的简单步骤，以下是全文，希望对你有所帮助。 公众号『大数据技术
第二章 Flink集成Iceberg的集成方式及基本SQL使用
qq_27924553的博客
02-06 1938
Flink集成Iceberg的集成方式及基本SQL使用
Flink+Iceberg环境搭建
longxibo的博客
07-28 1006
主要用来写入记录到对应的 avro、parquet、orc 文件，生成一个对应的 Iceberg DataFile，并发送给下游算子。另外一个叫做 IcebergFilesCommitter，主要用来在 checkpoint 到来时把所有的 DataFile 文件收集起来，并提交 Transaction 到 Apache Iceberg，完成本次 checkpoint 的数据写入，生成 DataFile。
Flink1.11.1写入iceberg0.11.1验证
踏云追月
01-13 1869
flinksql写入iceberg验证，包含kafka写入iceberg等。
flink1.14.4 + iceberg0.13.2 + Hive2.1.1 + presto0.273.3 + yanagishima 18.0 + FineBI5.1.24 (四）
jiangjiangaa666的博客
07-11 1850
摘要：Iceberg0.13.2 整合 Presto0.273.3，并使用yanagishima 18.0提供图形化界面，使用DBeaver 及 FineBI5.1.24 连接 Presto，实现Iceberg的即席查询及报表展示。
Iceberg从入门到精通系列之二：Iceberg集成Hive
zhengzaifeidelushang的博客
06-22 2206
Hive的元数据服务是一种存储和管理Hive表格和数据定义的中央服务，它允许用户定义表格、分区和桶等元数据信息，并将其存储在Hive元数据存储库中。因此，内部表和外部表的主要区别在于数据和元数据的存储位置和管理方式。内部表由Hive管理数据和元数据，而外部表只由Hive管理元数据，实际的存储数据由外部数据源维护。其中，是HiveServer2服务所在的主机名，是HiveServer2服务监听的端口号，是连接的Hive数据库名，是连接的用户名，是连接的密码。在Hive中，内部表和外部表是两种不同的表格类型。
基于Flink+Iceberg构建企业级实时数据湖(1).pdf
03-18
"基于Flink+Iceberg构建企业级实时数据湖" 本资源主要介绍了如何使用Flink和Iceberg构建企业级实时数据湖。以下是从文件中提取的知识点： 1. Flink简介：Flink是一个开源的分布式处理引擎，支持实时和批处理，可以...
基于Flink+Iceberg构建企业级实时数据湖
04-02
基于Flink+Iceberg构建企业级实时数据湖
基于Flink+Iceberg构建企业级实时数据湖4.9.pdf
07-03
基于Flink+Iceberg构建企业级实时数据湖4.9.pdf
基于Flink+Iceberg构建可落地的企业级实时数据湖教程
最新发布
02-29
给大家分享一套课程——基于Flink+Iceberg构建可落地的企业级实时数据湖教程，附代码+课件。
基于Flink+Iceberg构建企业级实时数据湖.pptx
06-19
基于Flink+Iceberg构建企业级实时数据湖.pptx
flink1.14.3集成hive-hbase
平平无奇小码农~
02-14 1771
1、下载flink1.14 2、配置 配置系统环境变量/etc/profile和flink的配置文件flink-conf.yaml /etc/profile 增加配置如下(这里默认jdk，haodoop都配置好)： #flink config export FLINK_HOME=/opt/module/flink-1.14.3 export HADOOP_CLASSPATH=`hadoop classpath` export PATH=$PATH:$FLINK_HOME/bin flink-conf.ya
Flink 实战 —— Flink 集成 Hive
dwjf321的博客
11-18 3647
flink sql flink 整合 hive
Flink-1.11使用sql-client连接Hive-2.1.1
猫不夜行的博客
01-16 5716
Flink-1.11使用sql-client连接Hive 写在前面： Sql-client连接Hive是通过客户端的形式读写hive、测试相关语句的便捷方式，也是Flink搭建后测试操作Hive的第一步。前面因为版本问题一直没有进展，Flink在1.9.1版本中只面向Hive-1.2.1、Hive-2.3.4，而在不改变Hive版本的情况下，其他实现方式较为繁琐。而Flink-1.11版本中，已经...
数据湖Iceberg介绍和使用(集成Hive、SparkSQL、FlinkSQL)
迷雾总会解
07-01 5398
为了解决数据存储和计算引擎之间的适配的问题，Netflix开发了Iceberg，2018年11月16日进入Apache孵化器，2020 年5月19日从孵化器毕业，成为Apache的顶级项目。Iceberg是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（Table Format）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink，Spark…）之下，数据文件之上。大数据领域发展至今已经经历了相当长时间的发展和探索，虽然大数据技术的出现和迭代降低了用户处理海量数据的
Flink1.13.3+Hudi0.10.1+CDH6.3.2(Hadoop3.0.0+Hive2.1.1)，使用FlinkClient执行FlinkSql的方式
m0_61172266的博客
09-27 1180
Flink1.13.3+Hudi0.10.1+CDH6.3.2(Hadoop3.0.0+Hive2.1.1)，使用FlinkClient执行FlinkSql的方式
iceberg学习笔记（2）—— 与Hive集成
WHY的博客
11-20 1551
本文介绍了iceberg框架如何与hive进行集成
iceberg对比hive优势
bitcarmanlee的博客
08-02 3095
在传统的实时数仓中，由于列式存储相对行式存储有较高的查询性能，我们一般采用parquet，orc等列存储数据格式。传统的流式数据入库的过程中对小文件进行合并会产生很多问题，比如流式数据不断的往hive表进行写入，如果同时有一个合并程序进行小文件的合并，那么这时候对同一份数据进行读写。当有实时指标计算的需求时，可以使用 flink 实时计算框架，来构建近实时数仓，而且iceberg 存储全量数据，且仍然有批计算能力，可以在流式计算作业运行的同时，跑一个批作业来进行数据回溯或者数据纠正。
Hudi 0.11.0 + Flink1.14.4 + Hive + Flink CDC + Kafka 集成
zhangs_123的博客
08-09 3130
Hudi 0.11.0 + Flink1.14.4 + Hive + Flink CDC + Kafka
使用Flink+Iceberg打造实时数据湖解决方案
"基于Flink+Iceberg构建企业级实时数据湖" 本文主要介绍了如何利用Apache Flink和Iceberg构建企业级的实时数据湖，并探讨了数据湖的背景、Flink在数据湖业务中的应用场景以及为什么选择Iceberg作为数据湖的存储解决...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值