Flink集群日志过大问题解决

(1)log4j日志格式(此方法暂未用过)

在Flink程序中,可以通过设置日志级别来控制控制台输出的信息。要让控制台只打印结果信息,可以将日志级别设置为ERROR。这样,只有错误信息和print()方法输出的结果会显示在控制台上。

要设置日志级别,请在Flink项目的resources目录下创建一个名为log4j.properties的文件(如果已经存在,请修改相应的配置)。将以下内容添加到log4j.properties文件中:
 

log4j.rootLogger=ERROR, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

(2)logback.xml

参考官网:

Logging | Apache Flink

此方法需要加入新的jar包,jar包导入到flink安装目录lib目录下:

/usr/local/flink-1.14.6/flink-1.14.6/lib

此方法需要将原有jar包删除或者备份:/usr/local/flink-1.14.6/flink-1.14.6/lib

将配置文件/usr/local/flink-1.14.6/flink-1.14.6/conf下的log4j开头的配置文件删除或者备份

修改logback.xml配置文件,修改为:

<appender name="file" class="ch.qos.logback.core.FileAppender">
        <file>${log.file}</file>
        <append>false</append>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{60} %X{sourceThread} - %msg%n</pattern>
        </encoder>
    </appender>

    <!-- This affects logging for both user code and Flink -->
    <root level="INFO">
        <appender-ref ref="file"/>
    </root>

并添加logback-classic-1.2.3.jar、logback-core-1.2.3.jar两个jar包

jar包位于:

链接:https://pan.baidu.com/s/1EbevaFtXGCdHZqnR1ugzKg 
提取码:kjdf 
--来自百度网盘超级会员V6的分享

修改完成重新启动即可

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值