- 博客(4)
- 收藏
- 关注
RSS订阅原创 记一次生产环境Flink内存调优（调整）的过程
这里只是针对我的flink作业，做的内存调整优化，因为我的flink作业对于托管内存使用并不大，所以我可以这样设定，各位的flink作业未必。想说的就是，各位根据自己的flink作业去灵活的调整各个部分使用的内存大小，要对照各自的flink作业和业务了解这个内存是干什么用的，根据数据量预估大概使用多少量，必要时要进行压测。在设定的过程中，整体上一定要遵守flink的内存计算规则和约束，这些在官网的介绍中都有。最后，祝各位flink作业不挂，并且在调优的道路上越走越远。。。
2024-06-28 17:06:18
777
原创 记录一次生产Flink反压解决过程
本篇文章旨在记录flink反压的发现，以及基本的解决思路等，问题是每个人都不一样的。祝各位工作顺利，代码无bug~
2024-06-12 13:14:37
828
原创 Flink向Doris表写入数据（Sink）
最近在工作中遇到了Flink处理kafka中的数据，最后写入Doris存储的场景。Apache Doris 是一款基于 MPP 架构的高性能、实时的分析型数据库，以高效、简单、统一的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。
2024-05-28 10:26:45
1343
原创 Flink MySQL两阶段提交示例代码
最近在工作中使用到Flink，正好也涉及到往MySQL进行最终的数据写入。且程序的模式是精准一次，故要配合checkpoint进行两阶段提交。在网上找了大部分的案例代码，但是发现部署后或多或少都会有一些问题。在浏览了大部分的案例代码后，目前本人在工作中的两阶段提交示例代码如下，这里仅做案例展示使用，具体的业务逻辑需要各位替换成自己的。Flink使用的版本是1.16.1。
2024-05-25 10:15:53
369
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人