![](https://img-blog.csdnimg.cn/20210327203412434.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
文章平均质量分 79
Flink相关分享
程序吴老二
自从敲了代码,脑血栓不治自愈了。。
展开
-
记一次生产环境Flink内存调优(调整)的过程
这里只是针对我的flink作业,做的内存调整优化,因为我的flink作业对于托管内存使用并不大,所以我可以这样设定,各位的flink作业未必。想说的就是,各位根据自己的flink作业去灵活的调整各个部分使用的内存大小,要对照各自的flink作业和业务了解这个内存是干什么用的,根据数据量预估大概使用多少量,必要时要进行压测。在设定的过程中,整体上一定要遵守flink的内存计算规则和约束,这些在官网的介绍中都有。最后,祝各位flink作业不挂,并且在调优的道路上越走越远。。。原创 2024-06-28 17:06:18 · 777 阅读 · 0 评论 -
记录一次生产Flink反压解决过程
本篇文章旨在记录flink反压的发现,以及基本的解决思路等,问题是每个人都不一样的。祝各位工作顺利,代码无bug~原创 2024-06-12 13:14:37 · 828 阅读 · 0 评论 -
Flink向Doris表写入数据(Sink)
最近在工作中遇到了Flink处理kafka中的数据,最后写入Doris存储的场景。Apache Doris 是一款基于 MPP 架构的高性能、实时的分析型数据库,以高效、简单、统一的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。原创 2024-05-28 10:26:45 · 1346 阅读 · 0 评论 -
Flink MySQL两阶段提交示例代码
最近在工作中使用到Flink,正好也涉及到往MySQL进行最终的数据写入。且程序的模式是精准一次,故要配合checkpoint进行两阶段提交。在网上找了大部分的案例代码,但是发现部署后或多或少都会有一些问题。在浏览了大部分的案例代码后,目前本人在工作中的两阶段提交示例代码如下,这里仅做案例展示使用,具体的业务逻辑需要各位替换成自己的。Flink使用的版本是1.16.1。原创 2024-05-25 10:15:53 · 369 阅读 · 0 评论