介绍flink在本地运行和on yarn运行时的日志配置。
很多现代框架都是用门面模式进行日志输出,例如使用Slf4j中的接口输出日志,具体实现类需要由log4j,log4j2,logback等日志框架进行实现。
Flink 中的日志记录就是使用slf4j日志接口实现的。
Slf4j简要说明
slf4j全名Simple Logging Facade for Java,为java提供的简单日志Facade。Facade门面说白了就是接口。它允许用户以自己的喜好,在工程中通过slf4j接入不同的日志系统。slf4j入口就是众多接口的集合,它不负责具体的日志实现,只在编译时负责寻找合适的日志系统进行绑定。具体有哪些接口,全部都定义在slf4j-api中。查看slf4j-api源码就可以发现,里面除了public final class LoggerFactory类之外,都是接口定义。因此slf4j-api本质就是一个接口定义。要想使用slf4j日志门面,需要引入以下依赖:
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.25</version>
</dependency>
这个包只有日志的接口,并没有实现,所以如果要使用就得再给它提供一个实现了些接口的日志框架包,比如:log4j,log4j2,logback等日志框架包,但是这些日志实现又不能通过接口直接调用,实现上他们根本就和slf4j-api不一致,因此slf4j和日志框架之间又增加了一层桥接器来转换各日志实现包的使用,比如slf4j-log4j12,log4j-slf4j-impl等。
接下来从本地运行和on yarn部署来说明下日志的使用配置方式。
Flink本地idea运行的日志配置
在我们编写Flink代码的时候,官方推荐的最佳实践也是使用Slf4j。Slf4j 的 logger 通过调用 LoggerFactory
的getLogger()
方法创建,然后使用logger对象输出日志。
接下来,我们就使用slf4j来打印日志。
使用slf4j
依赖
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.25</version>
</dependency>
实现代码
package com.upupfeng;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
/**
* @author mawf
*/
public class Main {
// 创建Logger对象
private static final Logger log = LoggerFactory.getLogger(Main.class);
public static void main(String[] args) throws Exception {
// 打印日志
log.info("-----------------> start");
}
}
光有上述的代码,运行起来是打印不出来日志的。还需要我们导入对应的日志实现的依赖(log4j或log4j2),以及进行相关的配置。
接下里再分别说一下log4j和log4j2的依赖和配置。
log4j1
pom依赖
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.25</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.21</version>
<scope>test</scope>
</dependency>
<!-- https://mvnrepository.com/artifact/log4j/log4j -->
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
log4j.properties配置
log4j.rootLogger=info,console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.Threshold=INFO
log4j.appender.console.ImmediateFlush=true
log4j.appender.console.Target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n
添加完pom和配