![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
马路上开飞机
这个作者很懒,什么都没留下…
展开
-
【Flink系列】JDBC写入调优
使用Flink开发的应用常见实时写入,即更新每一条流水的统计结果至数据库。在生产环境下,数据库为多个应用共用,那随着Flink应用的不断新增部署,数据库的写入压力越来越大,直至Flink应用出现阻塞等待、背压的情况出现,情况更严重的情况下会导致任务checkpoint超时、重启。从以上角度出发,考虑针对一些特定场景优化Flink应用,降低写入频次,减轻对数据库的压力。原创 2022-11-09 14:41:08 · 1759 阅读 · 0 评论 -
【Flink系列】使用logback
Flink logback原创 2022-10-18 11:54:42 · 1619 阅读 · 0 评论 -
【Flink系列】配置管理rockmq-flink产生的rocketmq-client日志
Flink 日志原创 2022-10-18 11:39:33 · 1198 阅读 · 0 评论 -
【工作笔记】-Flink1.15.1:NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String
Flink运行错误处理:NoSuchMethodError: org.apache.commons.cli.Option.builder原创 2022-09-01 10:34:08 · 664 阅读 · 0 评论 -
【Flink系列】- RocksDB增量模式checkpoint大小持续增长的问题及解决
背景一个使用FlinkSQL开发的生产线上任务, 使用Tumble Window做聚和统计,并且配置table.exec.state.ttl为7200000,设置checkpoint周期为5分钟,使用rocksdb的增量模式。正常情况下,任务运行一段时间以后,新增和过期的状态达到动态的平衡,随着RocksDB的compaction,checkpoint的大小会在小范围内上下起伏。实际观察到,checkpoint大小持续缓慢增长,运行20天以后,从最初了100M左右,增长到了2G,checkpoi原创 2022-03-31 10:28:07 · 6599 阅读 · 9 评论 -
【工作笔记】- Hadoop Yarn异常“Container is running beyond physical memory limit” 解决
Yarn容器运行一段时间以后出现“Container is running beyond physical memory limit”的报错,容器被kill掉,任务失败。 出现此错误时, 修改yarn-site.xml文件,添加两个配置:<property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value></property>&原创 2021-09-01 19:10:55 · 654 阅读 · 1 评论