- 博客(4)
- 收藏
- 关注
原创 记一次生产环境Flink内存调优(调整)的过程
这里只是针对我的flink作业,做的内存调整优化,因为我的flink作业对于托管内存使用并不大,所以我可以这样设定,各位的flink作业未必。想说的就是,各位根据自己的flink作业去灵活的调整各个部分使用的内存大小,要对照各自的flink作业和业务了解这个内存是干什么用的,根据数据量预估大概使用多少量,必要时要进行压测。在设定的过程中,整体上一定要遵守flink的内存计算规则和约束,这些在官网的介绍中都有。最后,祝各位flink作业不挂,并且在调优的道路上越走越远。。。
2024-06-28 17:06:18
805
原创 记录一次生产Flink反压解决过程
本篇文章旨在记录flink反压的发现,以及基本的解决思路等,问题是每个人都不一样的。祝各位工作顺利,代码无bug~
2024-06-12 13:14:37
843
原创 Flink向Doris表写入数据(Sink)
最近在工作中遇到了Flink处理kafka中的数据,最后写入Doris存储的场景。Apache Doris 是一款基于 MPP 架构的高性能、实时的分析型数据库,以高效、简单、统一的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
2024-05-28 10:26:45
2018
原创 Flink MySQL两阶段提交示例代码
最近在工作中使用到Flink,正好也涉及到往MySQL进行最终的数据写入。且程序的模式是精准一次,故要配合checkpoint进行两阶段提交。在网上找了大部分的案例代码,但是发现部署后或多或少都会有一些问题。在浏览了大部分的案例代码后,目前本人在工作中的两阶段提交示例代码如下,这里仅做案例展示使用,具体的业务逻辑需要各位替换成自己的。Flink使用的版本是1.16.1。
2024-05-25 10:15:53
384
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人