Hudi第三章：集成Flink

最新推荐文章于 2024-06-15 09:30:56 发布
最新推荐文章于 2024-06-15 09:30:56 发布
阅读量393 收藏 2
点赞数
分类专栏： Hudi学习专栏 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50835854/article/details/133696222
版权

系列文章目录

Hudi第一章：编译安装
Hudi第二章：集成Spark
Hudi第二章：集成Spark(二)
Hudi第三章：集成Flink

文章目录

前言

之前的两次博客学习了hudi和spark的集成，现在我们来学习hudi和flink的集成。

一、环境准备

1.上传并解压

在这里插入图片描述

2.修改配置文件

vim /opt/module/flink-1.13.6/conf/flink-conf.yaml
直接在最后追加即可。

classloader.check-leaked-classloader: false
taskmanager.numberOfTaskSlots: 4

state.backend: rocksdb
execution.checkpointing.interval: 30000
state.checkpoints.dir: hdfs://hadoop102:8020/ckps
state.backend.incremental: true

sudo vim /etc/profile.d/my_env.sh

export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

source /etc/profile.d/my_env.sh

3.拷贝jar包

cp /opt/software/hudi-0.12.0/packaging/hudi-flink-bundle/target/hudi-flink1.13-bundle-0.12.0.jar  /opt/module/flink-1.13.6/lib/
cp /opt/module/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar /opt/module/flink-1.13.6/lib/
cp /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.1.3.jar /opt/module/flink-1.13.6/lib/

4.启动sql-client

1.启动hadoop

2.启动session

/opt/module/flink-1.13.6/bin/yarn-session.sh -d

3.启动sql-client

bin/sql-client.sh embedded -s yarn-session

启动成功后可以在web端看一下。
在这里插入图片描述
也可以跳转到flink的webui。
在这里插入图片描述
在这里插入图片描述
现在我们就可以在终端写代码了。
在这里插入图片描述

二、sql-client编码

1.创建表

CREATE TABLE t1(
  uuid VARCHAR(20) PRIMARY KEY NOT ENFORCED,
  name VARCHAR(10),
  age INT,
  ts TIMESTAMP(3),
  `partition` VARCHAR(20)
)
PARTITIONED BY (`partition`)
WITH (
  'connector' = 'hudi',
  'path' = 'hdfs://hadoop102:8020/tmp/hudi_flink/t1',
  'table.type' = 'MERGE_ON_READ'
);

在这里插入图片描述

2.插入数据

INSERT INTO t1 VALUES
  ('id1','Danny',23,TIMESTAMP '1970-01-01 00:00:01','par1'),
  ('id2','Stephen',33,TIMESTAMP '1970-01-01 00:00:02','par1'),
  ('id3','Julian',53,TIMESTAMP '1970-01-01 00:00:03','par2'),
  ('id4','Fabian',31,TIMESTAMP '1970-01-01 00:00:04','par2'),
  ('id5','Sophia',18,TIMESTAMP '1970-01-01 00:00:05','par3'),
  ('id6','Emma',20,TIMESTAMP '1970-01-01 00:00:06','par3'),
  ('id7','Bob',44,TIMESTAMP '1970-01-01 00:00:07','par4'),
  ('id8','Han',56,TIMESTAMP '1970-01-01 00:00:08','par4');

3.查询数据

我们先更改一下表格式，默认的看得可能不习惯。

set sql-client.execution.result-mode=tableau;
select * from t1;

在这里插入图片描述

4.更新数据

前面说过hudi的更新操作就是插入一条主键相同的新数据，由更新的ts来覆盖旧的。

insert into t1 values
  ('id1','Danny',27,TIMESTAMP '1970-01-02 00:00:01','par1');

在这里插入图片描述
可以看到数据已经完成了更新。

5.流式插入

flink最常用的还是流式数据的处理。

CREATE TABLE sourceT (
  uuid varchar(20),
  name varchar(10),
  age int,
  ts timestamp(3),
  `partition` varchar(20)
) WITH (
  'connector' = 'datagen',
  'rows-per-second' = '1'
);

create table t2(
  uuid varchar(20),
  name varchar(10),
  age int,
  ts timestamp(3),
  `partition` varchar(20)
)
with (
  'connector' = 'hudi',
  'path' = '/tmp/hudi_flink/t2',
  'table.type' = 'MERGE_ON_READ'
);

我们创建两张表，第一张的连接器是datagen可以用来流式的生产数据。第二张表是正常的hudi表。

insert into t2 select * from sourceT;

我们可以在webui看一下。
在这里插入图片描述
因为是流式处理，所以这个进程是不会停止的。

select * from t2 limit 10;

在这里插入图片描述
再查看一次
在这里插入图片描述
我们会发现是不断有数据产生。

三、IDEA编码

我们需要将编译好的一个包拉到本地。
在这里插入图片描述
然后将他倒入maven仓库

mvn install:install-file -DgroupId=org.apache.hudi -DartifactId=hudi-flink_2.12 -Dversion=0.12.0 -Dpackaging=jar -Dfile=./hudi-flink1.13-bundle-0.12.0.jar

1.编写pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.atguigu.hudi</groupId>
    <artifactId>flink-hudi-demo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <flink.version>1.13.6</flink.version>
        <hudi.version>0.12.0</hudi.version>
        <java.version>1.8</java.version>
        <scala.binary.version>2.12</scala.binary.version>
        <slf4j.version>1.7.30</slf4j.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>   <!--不会打包到依赖中，只参与编译，不参与运行 -->
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <!--idea运行时也有webui-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>${slf4j.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>${slf4j.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-to-slf4j</artifactId>
            <version>2.14.0</version>
            <scope>provided</scope>
        </dependency>


        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-rocksdb_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.3</version>
            <scope>provided</scope>
        </dependency>
        <!--手动install到本地maven仓库-->
        <dependency>
            <groupId>org.apache.hudi</groupId>
            <artifactId>hudi-flink_2.12</artifactId>
            <version>${hudi.version}</version>
            <scope>provided</scope>
        </dependency>

    </dependencies>


    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.2.4</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <artifactSet>
                                <excludes>
                                    <exclude>com.google.code.findbugs:jsr305</exclude>
                                    <exclude>org.slf4j:*</exclude>
                                    <exclude>log4j:*</exclude>
                                    <exclude>org.apache.hadoop:*</exclude>
                                </excludes>
                            </artifactSet>
                            <filters>
                                <filter>
                                    <!-- Do not copy the signatures in the META-INF folder.
                                    Otherwise, this might cause SecurityExceptions when using the JAR. -->
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers combine.children="append">
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer">
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

2.编写demo

HudiDemo.java
一个简单的流式数据处理和刚刚一样。

package com.atguigu.hudi.flink;

import org.apache.flink.configuration.Configuration;
import org.apache.flink.contrib.streaming.state.EmbeddedRocksDBStateBackend;
import org.apache.flink.contrib.streaming.state.PredefinedOptions;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.environment.CheckpointConfig;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;


import java.util.concurrent.TimeUnit;


public class HudiDemo {
    public static void main(String[] args) {
        System.setProperty("HADOOP_USER_NAME", "atguigu");

        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(new Configuration());
        // 设置状态后端RocksDB
        EmbeddedRocksDBStateBackend embeddedRocksDBStateBackend = new EmbeddedRocksDBStateBackend(true);
        embeddedRocksDBStateBackend.setDbStoragePath("/home/chaoge/Downloads/hudi");
        embeddedRocksDBStateBackend.setPredefinedOptions(PredefinedOptions.SPINNING_DISK_OPTIMIZED_HIGH_MEM);
        env.setStateBackend(embeddedRocksDBStateBackend);

        // checkpoint配置
        env.enableCheckpointing(TimeUnit.SECONDS.toMillis(30), CheckpointingMode.EXACTLY_ONCE);
        CheckpointConfig checkpointConfig = env.getCheckpointConfig();
        checkpointConfig.setCheckpointStorage("hdfs://hadoop102:8020/ckps");
        checkpointConfig.setMinPauseBetweenCheckpoints(TimeUnit.SECONDS.toMillis(20));
        checkpointConfig.setTolerableCheckpointFailureNumber(5);
        checkpointConfig.setCheckpointTimeout(TimeUnit.MINUTES.toMillis(1));
        checkpointConfig.enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);

        StreamTableEnvironment sTableEnv = StreamTableEnvironment.create(env);

        sTableEnv.executeSql("CREATE TABLE sourceT (\n" +
                "  uuid varchar(20),\n" +
                "  name varchar(10),\n" +
                "  age int,\n" +
                "  ts timestamp(3),\n" +
                "  `partition` varchar(20)\n" +
                ") WITH (\n" +
                "  'connector' = 'datagen',\n" +
                "  'rows-per-second' = '1'\n" +
                ")");

        sTableEnv.executeSql("create table t2(\n" +
                "  uuid varchar(20),\n" +
                "  name varchar(10),\n" +
                "  age int,\n" +
                "  ts timestamp(3),\n" +
                "  `partition` varchar(20)\n" +
                ")\n" +
                "with (\n" +
                "  'connector' = 'hudi',\n" +
                "  'path' = 'hdfs://hadoop102:8020/tmp/hudi_idea/t2',\n" +
                "  'table.type' = 'MERGE_ON_READ'\n" +
                ")");

        sTableEnv.executeSql("insert into t2 select * from sourceT");

    }
}

当我们运行的时候，可以再本地webui查看。
127.0.0.1:8081/
在这里插入图片描述
也可以在hdfs路径看一下。
在这里插入图片描述

总结

flink第一次就先写到这里剩下的还要在写一次。

超哥--
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hudi集成Flink的编译jar包
01-18
Hudi集成Flink的编译jar包，在使用Flink将数据写入到Hudi时，需要手动将此包导入到Maven中，这样在代码中就能直接将数据写入到Hudi中了。 Hadoop版本：3.1.3 Flink版本：1.13.6 Scala版本：2.12 Hudi版本：0.12.0 ...
Flink +hudi+presto 流程图.docx
04-29
Flink +hudi+presto 流程图.docx 自己实现后画的一个流程图，便于理解
Hudi第四章：集成Hive
weixin_50835854的博客
10-17 471
本来关于Flink还有一些内容，但剩下的我了解过之后，觉得并不是很常用，而且 比较杂，所以还是决定需要的时候再学习吧。hudi的内容暂时就到这里，学习的过程中觉得hudi的技术还不是很成熟，很多地方的依赖需要自己修改，所以这次就不再进行太深层次的学习了。
Hudi（17）：Hudi集成Flink之写入方式
yang_shibiao的博客
02-04 2090
注意：如果要再次生成测试数据，则需要修改meta.txt将自增id中的1改为比10000大的数，不然会出现主键冲突情况。步骤一：创建MySQL表（使用flink-sql创建MySQL源的sink表）步骤二：创建Kafka表（使用flink-sql创建MySQL源的sink表）步骤一：创建kafka源表（使用flink-sql创建以kafka为源端的表）步骤二：创建hudi目标表（使用flink-sql创建以hudi为目标端的表）步骤三：将kafka数据写入到hudi中（flink-sql内部操作）
【数据湖Hudi-8-Hudi集成Flink-入门】
weixin_38136584的博客
01-12 302
数据湖Hudi-8-Hudi集成Flink-入门
Hudi（12）：Hudi集成Flink之sql-client方式
yang_shibiao的博客
01-09 639
注意，保存模式现在是Append。通常，除非是第一次创建表，否则请始终使用追加模式。现在再次查询数据将显示更新的记录。每个写操作都会生成一个用时间戳表示的新提交。查找前一次提交中相同的_hoodie_record_keys在_hoodie_commit_time、age字段中的变化。查看webui：http://bigdata1:8081。
Hudi（22）：Hudi集成Flink之常见问题汇总
yang_shibiao的博客
02-09 1500
Hudi集成Flink之常见问题汇总： 问题一：存储一直看不到数据 问题二：数据有重复 问题三：Merge On Read 写只有 log 文件
数据湖架构Hudi（五）Hudi集成Flink案例详解
qq_44665283的博客
03-06 3546
数据湖架构Hudi（五）Hudi集成Flink案例详解
Hudi 数据湖技术之集成Flink
赵广陆
04-25 1414
目录 1 安装Flink 2 快速入门 2.1 集成Flink概述 2.2 环境准备 2.3 创建表 2.4 插入数据 2.5 查询数据 2.6 更新数据 3 Streaming query 3.1 创建表 3.2 查询数据 3.3 插入数据 4 Flink SQL Writer 4.1 Flink SQL集成Kafka 4.2 Flink SQL写入Hudi 4.2.1 创建Maven Module 4.2.2 消费Kafka数据 4.2.3 保存数据至Hudi 4.2.4 加载Hudi表数据
Hudi集成Flink
qq_36250202的博客
04-12 760
将 hudi-hadoop-mr-bundle-0.12.0.jar和hudi-hive-sync-bundle-0.12.0.jar放到hive节点的lib目录下；'hive_sync.metastore.uris' = 'thrift://ip:9083' -- required, metastore的端口。'hive_sync.table'='${hive_table}', -- required, hive 新建的表名。
Hudi集成Flink-写入方式
chbxw
04-14 1658
参考： https://chbxw.blog.csdn.net/article/details/119841434。CDC(change data capture) 保证了完整数据变更，目前主要有两种方式。1、kafak 作为 源表，flinksql 消费kafka。1、使用 mysql-cdc 监听 binlog。3、将 kafka 中数据 写入 hudi。2、kafka 作为 sink表。接下来我们主要介绍 第二种方式。2、创建hudi目标表。3、写入sink 表。
hudi0.11.0、flink1.14.4、spark3.2.1编译
05-27
基于hudi0.11.0、flink1.14.4、spark3.2.1编译。有需要的自行下载
hudi-flink1.14-bundle_2.12-0.11.0.jar
06-28
hudi-flink1.14-bundle_2.12-0.11.0.jar
数据湖Hudi Flink集成包0.10.1 for Scala2.11
05-13
HUDI数据湖，俩个核心两点： 1、采用读时模式设计，支持动态schema，动态表结构变更。（对比写时模式） 2、标准化统一和解决了大规模的数据存储问题。 3、高容错的任务调度管理策略，不用担心job失败重跑，也不用...
43、Flink 自定义窗口触发器代码示例
猫猫爱吃小鱼粮
06-13 438
Flink 自定义窗口触发器代码示例
详解 Flink Table API 和 Flink SQL 之流处理中的表
weixin_44480009的博客
06-12 425
动态表可以像静态的批处理表一样进行查询操作。由于数据在不断变化，因此基于它定义的 SQL 查询也不可能执行一次就得到最终结果，所以对动态表的查询就永远不会停止，一直在随着新数据的到来而继续执行。这样的查询就被称作“持续查询”（Continuous Query）对动态表进行持续查询（continuous query），生成新的动态表。流（stream）被转换为动态表（dynamic table）生成的动态表被转换成流。
Flink 容错
最新发布
IT深耕十余载，大道之简
06-15 278
Apache Flink 的容错机制通过创建检查点、提供状态一致性保证、支持多种状态存储后端以及提供灵活的容错配置参数和重启策略，确保了在分布式环境中执行数据流应用程序时的高可用性和容错性。这使得 Flink 成为一个强大而可靠的数据处理框架。
flink学习-容错机制
taotaobujuerulv的博客
06-13 316
在flink中最重要的容错机制，就是checkpoint机制，使用checkpoint可以将之前某个时间点的所有的状态进行保存，这个存档就是checkpoint。
数据湖架构hudi(五)hudi集成flink案例详解
09-17
Hudi（Hadoop Upsert Delete and Incremental）是一个构建在Hadoop上的开源数据湖架构，它提供了类似于数据库的upsert、delete、incremental等操作，同时支持流处理和批处理。Hudi与Flink的集成可以实现数据湖的实时计算和增量处理。 在Hudi和Flink的集成案例中，我们可以使用Flink作为流处理引擎，实现实时数据的读取和写入。具体步骤如下： 首先，我们需要将输入数据源和输出数据源与Flink进行集成。Flink可以读取来自不同数据源的数据，例如Kafka、Hive、HBase等。在我们的案例中，我们需要将Hudi作为输出数据源，因此需要实现一个自定义的Flink Sink函数，用于将Flink的输出数据写入Hudi。 其次，我们需要在Flink中编写业务逻辑，用于对输入数据进行实时计算和增量处理。Flink提供了丰富的API和算子，可以方便地进行数据转换、聚合、过滤等操作。在我们的案例中，我们可以使用Flink的Map和Filter算子，对输入数据进行转换和筛选，然后将结果数据写入Hudi。 最后，我们需要在Flink中配置和管理Hudi的相关参数。Hudi需要使用一些配置信息，例如数据存储路径、数据表的主键、分区字段等。我们可以通过Flink的配置文件或命令行参数，将这些配置信息传递给Hudi。 通过以上步骤，我们可以实现Hudi和Flink的集成。当输入数据流进入Flink时，Flink可以对数据进行实时计算和增量处理，并将结果数据写入Hudi。这样就可以实现对数据湖中的数据进行实时查询和分析。 通过Hudi和Flink的集成，我们可以充分发挥两者的优势，实现高效、实时的数据处理和分析。使用Hudi可以保证数据湖的数据一致性和可更新性，而使用Flink可以实现实时计算和增量处理。这样的集成方案可以在企业中广泛应用，为数据团队提供更好的数据湖架构解决方案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值