flink1.12配置滚动日志(超详细)

本文详细介绍了Flink 1.12版本中如何配置滚动日志,包括配置目的、配置方式,如代码内指定、提交任务时指定,以及官方建议。同时,提到了在flink1.12版本中通过官方方法配置log4j2的不生效问题,并提供了完整的log4j.properties配置示例,以及针对flink与kafka交互时的一个已知问题。
摘要由CSDN通过智能技术生成

配置滚动生成的目的

1.
当yarn配置了日志聚集功能时,yarn上的任务停止时,会将程序运行日志信息上传到HDFS系统上。日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。
但是像flink和sparkstreaming这样长期运行的项目,会生成很多日志。任务停止时,大量日志上传到HDFS,造成的后果就是HDFS瞬时写入速率激增大量占用网络宽带,导致网络阻塞,系统受到影响。配置滚动生成日志,只保留最近10个日志,可以避免这种现象。

2.不滚动生成那就只有一个log文件,文件很大不方便查看。

配置方式

1.在代码中指定

这个参数是在web ui界面,jobmanager 的configuration里找到的。


// 在idea中开发时,单独指定,但是这样提交yarn运行,不生效???不知道为什么
Logger.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

重生之我在异世界打工

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值