flink1.12.2+hudi0.9.0测试

已于 2022-02-18 11:17:41 修改
阅读量1k 收藏 1
点赞数 1
分类专栏： 数据湖踩坑实例 文章标签： flink hadoop
于 2022-02-18 11:17:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49218925/article/details/122998515
版权

1.环境准备

1.1、flink1.12.2

1.1.1 编译包下载：https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz
1.1.2 flink的部署可参考上篇：https://blog.csdn.net/weixin_49218925/article/details/115511022

1.2、hudi0.9.0已发布，可直接下载hudi-flink-bundle_2.11-0.9.0.jar

2 flinksql写入hudi demo

Bach 模式的读写

插入数据

使用如下 DDL 语句创建 Hudi 表：

Flink SQL> create table t2(
>   uuid varchar(20),
>   name varchar(10),
>   age int,
>   ts timestamp(3),
>   `partition` varchar(20)
> )
> PARTITIONED BY (`partition`)
> with (
>   'connector' = 'hudi',
>   'path' = 'oss://vvr-daily/hudi/t2'
> );
[INFO] Table has been created.

DDL 里申明了表的 path，record key 为默认值 uuid，pre-combine key 为默认值 ts 。

然后通过 VALUES 语句往表中插入数据：


Flink SQL> insert into t2 values
>   ('id1','Danny',23,TIMESTAMP '1970-01-01 00:00:01','par1'),
>   ('id2','Stephen',33,TIMESTAMP '1970-01-01 00:00:02','par1'),
>   ('id3','Julian',53,TIMESTAMP '1970-01-01 00:00:03','par2'),
>   ('id4','Fabian',31,TIMESTAMP '1970-01-01 00:00:04','par2'),
>   ('id5','Sophia',18,TIMESTAMP '1970-01-01 00:00:05','par3'),
>   ('id6','Emma',20,TIMESTAMP '1970-01-01 00:00:06','par3'),
>   ('id7','Bob',44,TIMESTAMP '1970-01-01 00:00:07','par4'),
>   ('id8','Han',56,TIMESTAMP '1970-01-01 00:00:08','par4');
[INFO] Submitting SQL update statement to the cluster...
[INFO] Table update statement has been successfully submitted to the cluster:
Job ID: 59f2e528d14061f23c552a7ebf9a76bd

这里看到 Flink 的作业已经成功提交到集群，可以本地打开 web UI 观察作业的执行情况: http://localhost:8081/

查询数据

作业执行完成后，通过 SELECT 语句查询表结果：

Flink SQL> set execution.result-mode=tableau;
[INFO] Session property has been set.
Flink SQL> select * from t2;
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
| +/- |                 uuid |                 name |         age |                      ts |            partition |
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
|   + |                  id3 |               Julian |          53 |     1970-01-01T00:00:03 |                 par2 |
|   + |                  id4 |               Fabian |          31 |     1970-01-01T00:00:04 |                 par2 |
|   + |                  id7 |                  Bob |          44 |     1970-01-01T00:00:07 |                 par4 |
|   + |                  id8 |                  Han |          56 |     1970-01-01T00:00:08 |                 par4 |
|   + |                  id1 |                Danny |          23 |     1970-01-01T00:00:01 |                 par1 |
|   + |                  id2 |              Stephen |          33 |     1970-01-01T00:00:02 |                 par1 |
|   + |                  id5 |               Sophia |          18 |     1970-01-01T00:00:05 |                 par3 |
|   + |                  id6 |                 Emma |          20 |     1970-01-01T00:00:06 |                 par3 |
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
Received a total of 8 rows

这里执行语句 set execution.result-mode=tableau; 可以让查询结果直接输出到终端。

通过在 WHERE 子句中添加 partition 路径来裁剪 partition：


Flink SQL> select * from t2 where `partition` = 'par1';
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
| +/- |                 uuid |                 name |         age |                      ts |            partition |
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
|   + |                  id1 |                Danny |          23 |     1970-01-01T00:00:01 |                 par1 |
|   + |                  id2 |              Stephen |          33 |     1970-01-01T00:00:02 |                 par1 |
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
Received a total of 2 rows

更新数据

相同的 record key 的数据会自动覆盖，通过 INSERT 相同 key 的数据可以实现数据更新：


Flink SQL> insert into t2 values
>   ('id1','Danny',24,TIMESTAMP '1970-01-01 00:00:01','par1'),
>   ('id2','Stephen',34,TIMESTAMP '1970-01-01 00:00:02','par1');
[INFO] Submitting SQL update statement to the cluster...
[INFO] Table update statement has been successfully submitted to the cluster:
Job ID: 944de5a1ecbb7eeb4d1e9e748174fe4c
Flink SQL> select * from t2;
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
| +/- |                 uuid |                 name |         age |                      ts |            partition |
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
|   + |                  id1 |                Danny |          24 |     1970-01-01T00:00:01 |                 par1 |
|   + |                  id2 |              Stephen |          34 |     1970-01-01T00:00:02 |                 par1 |
|   + |                  id3 |               Julian |          53 |     1970-01-01T00:00:03 |                 par2 |
|   + |                  id4 |               Fabian |          31 |     1970-01-01T00:00:04 |                 par2 |
|   + |                  id5 |               Sophia |          18 |     1970-01-01T00:00:05 |                 par3 |
|   + |                  id6 |                 Emma |          20 |     1970-01-01T00:00:06 |                 par3 |
|   + |                  id7 |                  Bob |          44 |     1970-01-01T00:00:07 |                 par4 |
|   + |                  id8 |                  Han |          56 |     1970-01-01T00:00:08 |                 par4 |
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
Received a total of 8 rows

可以看到 uuid 为 id1 和 id2 的数据 age 字段值发生了更新。

再次 insert 新数据观察结果：


Flink SQL> insert into t2 values
>   ('id4','Fabian',32,TIMESTAMP '1970-01-01 00:00:04','par2'),
>   ('id5','Sophia',19,TIMESTAMP '1970-01-01 00:00:05','par3');
[INFO] Submitting SQL update statement to the cluster...
[INFO] Table update statement has been successfully submitted to the cluster:
Job ID: fdeb7fd9f08808e66d77220f43075720
Flink SQL> select * from t2;
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
| +/- |                 uuid |                 name |         age |                      ts |            partition |
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
|   + |                  id5 |               Sophia |          19 |     1970-01-01T00:00:05 |                 par3 |
|   + |                  id6 |                 Emma |          20 |     1970-01-01T00:00:06 |                 par3 |
|   + |                  id3 |               Julian |          53 |     1970-01-01T00:00:03 |                 par2 |
|   + |                  id4 |               Fabian |          32 |     1970-01-01T00:00:04 |                 par2 |
|   + |                  id1 |                Danny |          24 |     1970-01-01T00:00:01 |                 par1 |
|   + |                  id2 |              Stephen |          34 |     1970-01-01T00:00:02 |                 par1 |
|   + |                  id7 |                  Bob |          44 |     1970-01-01T00:00:07 |                 par4 |
|   + |                  id8 |                  Han |          56 |     1970-01-01T00:00:08 |                 par4 |
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
Received a total of 8 rows

Streaming 读

通过如下语句创建一张新的表并注入数据：


Flink SQL> create table t1(
>   uuid varchar(20),
>   name varchar(10),
>   age int,
>   ts timestamp(3),
>   `partition` varchar(20)
> )
> PARTITIONED BY (`partition`)
> with (
>   'connector' = 'hudi',
>   'path' = 'oss://vvr-daily/hudi/t1',
>   'table.type' = 'MERGE_ON_READ',
>   'read.streaming.enabled' = 'true',
>   'read.streaming.check-interval' = '4'
> );
[INFO] Table has been created.
Flink SQL> insert into t1 values
>   ('id1','Danny',23,TIMESTAMP '1970-01-01 00:00:01','par1'),
>   ('id2','Stephen',33,TIMESTAMP '1970-01-01 00:00:02','par1'),
>   ('id3','Julian',53,TIMESTAMP '1970-01-01 00:00:03','par2'),
>   ('id4','Fabian',31,TIMESTAMP '1970-01-01 00:00:04','par2'),
>   ('id5','Sophia',18,TIMESTAMP '1970-01-01 00:00:05','par3'),
>   ('id6','Emma',20,TIMESTAMP '1970-01-01 00:00:06','par3'),
>   ('id7','Bob',44,TIMESTAMP '1970-01-01 00:00:07','par4'),
>   ('id8','Han',56,TIMESTAMP '1970-01-01 00:00:08','par4');
[INFO] Submitting SQL update statement to the cluster...
[INFO] Table update statement has been successfully submitted to the cluster:
Job ID: 9e1dcd37fd0f8ca77534c30c7d87be2c

这里将 table option read.streaming.enabled 设置为 true，表明通过 streaming 的方式读取表数据；opiton read.streaming.check-interval 指定了 source 监控新的 commits 的间隔为 4s；option table.type 设置表类型为 MERGE_ON_READ，目前只有 MERGE_ON_READ 表支持 streaming 读。

以上操作发生在一个 terminal 中，我们称之为 terminal_1。

从新的 terminal（我们称之为 terminal_2）再次启动 Sql Client，重新创建 t1 表并查询：

Flink SQL> set execution.result-mode=tableau;
[INFO] Session property has been set.
Flink SQL> create table t1(
>   uuid varchar(20),
>   name varchar(10),
>   age int,
>   ts timestamp(3),
>   `partition` varchar(20)
> )
> PARTITIONED BY (`partition`)
> with (
>   'connector' = 'hudi',
>   'path' = 'oss://vvr-daily/hudi/t1',
>   'table.type' = 'MERGE_ON_READ',
>   'read.streaming.enabled' = 'true',
>   'read.streaming.check-interval' = '4'
> );
[INFO] Table has been created.
Flink SQL> select * from t1;
2021-03-22 18:36:37,042 INFO  org.apache.hadoop.conf.Configuration.deprecation             [] - mapred.job.map.memory.mb is deprecated. Instead, use mapreduce.map.memory.mb
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
| +/- |                 uuid |                 name |         age |                      ts |            partition |
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
|   + |                  id2 |              Stephen |          33 |     1970-01-01T00:00:02 |                 par1 |
|   + |                  id1 |                Danny |          23 |     1970-01-01T00:00:01 |                 par1 |
|   + |                  id6 |                 Emma |          20 |     1970-01-01T00:00:06 |                 par3 |
|   + |                  id5 |               Sophia |          18 |     1970-01-01T00:00:05 |                 par3 |
|   + |                  id8 |                  Han |          56 |     1970-01-01T00:00:08 |                 par4 |
|   + |                  id7 |                  Bob |          44 |     1970-01-01T00:00:07 |                 par4 |
|   + |                  id4 |               Fabian |          31 |     1970-01-01T00:00:04 |                 par2 |
|   + |                  id3 |               Julian |          53 |     1970-01-01T00:00:03 |                 par2 |

回到 terminal_1，继续执行 batch mode 的 INSERT 操作：


Flink SQL> insert into t1 values
>   ('id1','Danny',27,TIMESTAMP '1970-01-01 00:00:01','par1');
[INFO] Submitting SQL update statement to the cluster...
[INFO] Table update statement has been successfully submitted to the cluster:
Job ID: 2dad24e067b38bc48c3a8f84e793e08b

几秒之后，观察 terminal_2 的输出多了一行：

+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
| +/- |                 uuid |                 name |         age |                      ts |            partition |
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
|   + |                  id2 |              Stephen |          33 |     1970-01-01T00:00:02 |                 par1 |
|   + |                  id1 |                Danny |          23 |     1970-01-01T00:00:01 |                 par1 |
|   + |                  id6 |                 Emma |          20 |     1970-01-01T00:00:06 |                 par3 |
|   + |                  id5 |               Sophia |          18 |     1970-01-01T00:00:05 |                 par3 |
|   + |                  id8 |                  Han |          56 |     1970-01-01T00:00:08 |                 par4 |
|   + |                  id7 |                  Bob |          44 |     1970-01-01T00:00:07 |                 par4 |
|   + |                  id4 |               Fabian |          31 |     1970-01-01T00:00:04 |                 par2 |
|   + |                  id3 |               Julian |          53 |     1970-01-01T00:00:03 |                 par2 |
|   + |                  id1 |                Danny |          27 |     1970-01-01T00:00:01 |                 par1 |

再次在 terminal_1 中执行 INSERT 操作：


Flink SQL> insert into t1 values
>   ('id4','Fabian',32,TIMESTAMP '1970-01-01 00:00:04','par2'),
>   ('id5','Sophia',19,TIMESTAMP '1970-01-01 00:00:05','par3');
[INFO] Submitting SQL update statement to the cluster...
[INFO] Table update statement has been successfully submitted to the cluster:
Job ID: ecafffda3d294a13b0a945feb9acc8a5

观察 terminal_2 的输出变化：

+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
| +/- |                 uuid |                 name |         age |                      ts |            partition |
+-----+----------------------+----------------------+-------------+-------------------------+----------------------+
|   + |                  id2 |              Stephen |          33 |     1970-01-01T00:00:02 |                 par1 |
|   + |                  id1 |                Danny |          23 |     1970-01-01T00:00:01 |                 par1 |
|   + |                  id6 |                 Emma |          20 |     1970-01-01T00:00:06 |                 par3 |
|   + |                  id5 |               Sophia |          18 |     1970-01-01T00:00:05 |                 par3 |
|   + |                  id8 |                  Han |          56 |     1970-01-01T00:00:08 |                 par4 |
|   + |                  id7 |                  Bob |          44 |     1970-01-01T00:00:07 |                 par4 |
|   + |                  id4 |               Fabian |          31 |     1970-01-01T00:00:04 |                 par2 |
|   + |                  id3 |               Julian |          53 |     1970-01-01T00:00:03 |                 par2 |
|   + |                  id1 |                Danny |          27 |     1970-01-01T00:00:01 |                 par1 |
|   + |                  id5 |               Sophia |          19 |     1970-01-01T00:00:05 |                 par3 |
|   + |                  id4 |               Fabian |          32 |     1970-01-01T00:00:04 |                 par2 |
数据湖填坑
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Flink1.9.0升级到Flink1.12.2
weixin_33022765的博客
03-14 768
写在前面 Flink1.12.X版本相比较之前版本，在安装不上存在差异。 先说一下本次测试环境： 操作系统：CentOS 7.4 CM/CDH版本：CM5.15.2/ CDH5.15.2 我们使用CDH作为hadoop集群的管控平台，而Flink1.9.0不支持CDH版hadoop，需要使用mvn构建1.9.0-cdh的安装包。 1.11.0以后版本，已兼容hadoop2/3各版本，无需再根据hadoop版本自行编译。在官方网站下载对应安装包，运行时指明hadoop版本即可。 除了安装上的差异外，有不少
Flink Hudi 测试
L, there!
09-30 1358
组件版本 组件 版本 Java 1.8.251 Scala 1.12.14 Flink 1.12.2 hudi 0.9.0 Hadoop 2.9.2 Hive 2.3.6 将hdfs-site.xml，core
Kafka-flinkSQL-hudi测试案例：
pingfanderen5的博客
05-30 645
Kafka-flinkSQL-hudi测试案例： 采用flink-generateConnector模拟生成流式数据到kafka中，然后通过flink-kafka-connect实时读取kafka中数据进行处理，实时将数据存入hudi中，最后又通过flink读取hudi的数据进行统计
Flink + Hudi demo 环境
ChengYanan的博客
09-26 1416
版本 flink 版本： Flink 1.12.5 Scala版本：2.12 Hudi版本：0.9.0 将hudi-flink-bundle_2.12-0.9.0.jar放入flink的lib目录下。
完整flink sql操作Hudi demo flink 1.15.3版本
xuye0606的博客
06-30 236
cost DOUBLE COMMENT '费用',
顺丰基于 Flink CDC + Hudi 推进实时业务落地.pdf
03-21
"顺丰基于 Flink CDC + Hudi 推进实时业务落地" 本文将对顺丰基于 Flink CDC + Hudi 的实时业务落地进行详细的知识点梳理。 标题解释 顺丰基于 Flink CDC + Hudi 推进实时业务落地，顾名思义，就是顺丰集团基于 ...
Flink +hudi+presto 流程图.docx
04-29
《Flink + Hudi + Presto：实时大数据处理与分析的综合应用》 在现代大数据处理领域，Apache Flink、Hudi和Presto是三款重要的开源工具，它们各自承担着不同的职责，但又能完美地协同工作，构建出高效、实时的数据...
Flink CDC + Hudi 海量数据入湖在顺丰的实践.pdf
03-21
Flink CDC + Hudi 海量数据入湖在顺丰的实践 Flink CDC 是一个流行的Change Data Capture（CDC）工具，能够实时捕获数据库的变更操作，并将其同步到下游系统中。在顺丰的实践中，Flink CDC 与 Hudi 结合，实现了...
基于Flink+Hudi构建企业万亿级云上实时数据湖视频教程（2021新课）
05-10
本课程专注于“基于Flink+Hudi构建企业万亿级云上实时数据湖”，旨在帮助学员掌握如何在云环境中搭建和管理大规模的数据湖系统，应对日益增长的数据量和实时处理需求。通过学习此课程，学员将深入了解大数据生态系统...
基于Flink + Hudi + JuiceFS的实时数据湖方案.png
最新发布
11-11
基于Flink + Hudi + JuiceFS的实时数据湖方案
flink-json-1.12.2.jar
03-27
flink-json-1.12.2.jar
flink1.12.2单机版安装
qq_45798550的博客
03-22 734
文章目录准备一、下载对应版本的flink二、安装1.解压2.修改权限 准备 java安装好，无需Hadoop环境 一、下载对应版本的flink https://flink.apache.org/downloads.html 官网下载 二、安装 1.解压 tar -zxvf flink-1.12.2-bin-scala_2.12.tgz 2.修改权限 chown -R root:root /usr/local/soft/flink-1.12.2 ...
flink1.12 单机安装
胖虎儿的博客
03-07 6541
Local本地模式 运行流程： Flink程序由JobClient进行提交 JobClient将作业提交给JobManager JobManager负责协调资源分配和作业执行。资源分配完成后，任务将提交给相应的TaskManager TaskManager启动一个线程以开始执行。TaskManager会向JobManager报告状态更改,如开始执行，正在进行或已完成。 作业执行完成后，结果将发送回客户端(JobClient) 下载 https://mirrors.bfsu.edu.cn/apache/
第7节 hudi 0.9 与Flink 1.12.2 集成测试
等夏天
10-08 794
安装Flink 从hudi 0.9的编译pom中查看，编译时用的 flink版本是1.12.2,在官网下载 https://archive.apache.org/dist/flink/flink-1.12.2/ （1）上传到集群中 因为是测试流程，先单节点 上传至cdh06 解压 先不做hadoop 环境变量的配置，因为使用的cdh ，先让flink自己识别系统中的hadoop环境 （2）启动flink集群 cd /data/software/flink-1.12.2/bin
Flink1.12 on Hudi0.9.0实践
tianqin_9169的博客
11-09 476
基于 flink1.12.2-2.12 hudi0.9.0-2.12 的个人实践
尝鲜！Flink1.12.2+Hudi0.9.0集成开发
微信搜：import_bigdata，大数据领域硬核原创作者
04-24 881
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源Hudi社区最近发生了一些有趣的变化，Hudi集成Flink的方案也已经发布，我个人在官网根据文档试验了一把，整体感觉还不错。我们...
使用 Flink Hudi 构建流式数据湖
阿里云云栖号
08-30 916
简介：本文介绍了 Flink Hudi 通过流计算对原有基于 mini-batch 的增量计算模型的不断优化演进。 本文介绍了 Flink Hudi 通过流计算对原有基于 mini-batch 的增量计算模型不断优化演进。用户可以通过 Flink SQL 将 CDC 数据实时写入 Hudi 存储，且在即将发布的 0.9 版本 Hudi 原生支持 CDC format。主要内容为： 背景 增量 ETL 演示 一、背景 近实时 从 2016 年开始，Apache Hudi 社区就开始通过 H.
flink学习之sql-client之踩坑记录
cclovezbf的博客
11-16 5203
注意当你使用这个模式运行一个流式查询的时候，Flink 会将结果持续的打印在当前的屏幕之上。如果这个流式查询的输入是有限的数据集， 那么Flink在处理完所有的数据之后，会自动的停止作业，同时屏幕上的打印也会相应的停止。--也可以不用hadoop 其实这里的时候就该反应过来，如果写过flink table api就知道连接hive的时候也是这两个参数。记住我们是搞flink遇到的这个问题，那么这个类和flink肯定相关，找到一个我们引入flinkjar最多的工程。网上的千篇一律是抄袭的。
顺丰如何利用Flink CDC + Hudi推动实时业务高效落地
早期采用JStorm和Canal，之后转向Flink+Canal，最后选择Flink CDC结合Hudi，以解决数据一致性、重复性和性能问题。Flink CDC的优势在于它能够实现实时数据的增量同步，避免全量同步带来的资源压力，而且支持断点续传...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据湖填坑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值