flink1.12配置滚动日志(超详细)
配置滚动生成的目的
1.
当yarn配置了日志聚集功能时,yarn上的任务停止时,会将程序运行日志信息上传到HDFS系统上。日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。
但是像flink和sparkstreaming这样长期运行的项目,会生成很多日志。任务停止时,大量日志上传到HDFS,造成的后果就是HDFS瞬时写入速率激增大量占用网络宽带,导致网络阻塞,系统受到影响。配置滚动生成日志,只保留最近10个日志,可以避免这种现象。
2.不滚动生成那就只有一个log文件,文件很大不方便查看。
配置方式
1.在代码中指定
这个参数是在web ui界面,jobmanager 的configuration里找到的。
// 在idea中开发时,单独指定,但是这样提交yarn运行,不生效???不知道为什么
Logger.