![](https://img-blog.csdnimg.cn/05bf2a7dde2e4217a3236cc5b0e68b86.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
文章平均质量分 73
Flink
活在风浪里~
不去追逐,永远不会拥有。不往前走,永远原地停留。
展开
-
Flink on kubernets operator的部署方式
【代码】Flink on kubernets operator的部署方式。原创 2023-05-05 17:25:44 · 599 阅读 · 0 评论 -
服务器CDH6.3.2安装编译集成Apache Flink1.12.0
最后集成Flink 1.12.0版本成功到这就结束了!!!!最后编译的Flink安装包:提取码:1syp。原创 2023-04-10 17:52:39 · 373 阅读 · 0 评论 -
Apache Flink源码阅读环境搭建
Apache Flink源码阅读环境搭建版本win7jdk 1.8maven 3.6.3scala 2.11.8这些必须提前安装好1 下载源码# 下载源码git clone https://github.com/apache/spark.git# flink是用tag区分不同版本的,切换到目标版本 git checkout -b release-1.13.02 编译打包在项目根目录打开Git Bash运行如下命令# 设置大一点的内存,防止内存溢出export MAVEN_原创 2023-04-12 17:15:36 · 301 阅读 · 0 评论 -
Flink timer定时器
flink为了保证定时触发操作(onTimer)与正常处理(processElement)操作的线程安全,做了同步处理,在调用触发时必须要获取到锁,也就是二者同时只能有一个执行,因此一定要保证onTimer处理的速度,以免任务发生阻塞。deleteEventTimeTimer(timestamp: Long): Unit 删除之前注册的事件时间定时器,如果没有此时间戳的定时器,则不执行。基于处理时间或者事件时间处理过一个元素之后, 注册一个定时器, 然后指定的时间执行.原创 2023-04-13 09:43:20 · 1772 阅读 · 0 评论 -
Flink watermark
Flink水印的本质是DataStream中的一种特殊元素,每个水印都携带有一个时间戳。当时间戳为T的水印出现时,表示事件时间t T的数据。也就是说,水印是Flink判断迟到数据的标准,同时也是窗口触发的标记。本质上用来处理实时数据中的乱序问题的,通常是水位线和窗口结合使用来实现。原创 2023-04-13 09:59:49 · 337 阅读 · 0 评论 -
flink cdc 连接posgresql 数据库相关问题整理
原因:Flink CDC 在 scan 全表数据(我们的实收表有千万级数据)需要小时级的时间(受下游聚合反压影响),而在 scan 全表过程中是没有 offset 可以记录的(意味着没法做 checkpoint),但是 Flink 框架任何时候都会按照固定间隔时间做 checkpoint,所以此处 mysql-cdc source 做了比较取巧的方式,即在 scan 全表的过程中,会让执行中的 checkpoint 一直等待甚至超时。解决方法:默认会随机生成一个 server id,容易有碰撞的风险。原创 2023-04-13 10:27:08 · 2093 阅读 · 0 评论 -
flink cdc DataStream api 时区问题
这里主要使用第二种方式。/*** 处理Debezium时间转换的问题* Debezium默认将MySQL中datetime类型转成UTC的时间戳({@link io.debezium.time.Timestamp }) ,时区是写死的无法更改,* 导致数据库中设置的UTC+8,到kafka中变成了多八个小时的long型时间戳* Debezium默认将MySQL中的timestamp类型转成UTC的字符串。原创 2023-04-13 10:40:20 · 1627 阅读 · 14 评论