日志方面的常见问题及log4j的使用

一.MapReduce和Spark的日志

MapReduce

MapReduce在IDEA上并没有运行日志，只能去UI上查看log。

则需要借助 log4j 来查看日志。

log4j.properties:

log4j.rootLogger=INFO,stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%-5p] method:%l%n%m%n

Spark

而spark自带了org.apache.spark.internal.Logging.logInfo 方法，能够产生日志。

但是，在用spark streaming的时候，每个时间段，除了 foreach 的输出结果，不想要其他的日志。

则直接关掉（直接在main方法下写）：

Logger.getLogger("org.apache.spark").setLevel(Level.OFF)

即将spark包下的所有类的日志输出都关掉。

二.自定义的日志

想输出自定义的日志，则需要先定义（定义一个类属性）：

private static final Logger logger = Logger.getLogger(MapJoinApp.class);


//log4j.properties:
log4j.rootLogger=INFO,stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%-5p] method:%l%n%m%n


//输出自定义日志：
logger.info("hello world");

输出结果：

[INFO ] method:MapjoinAndReducejoin.mapjoin.MapJoinApp.main(MapJoinApp.java:31)
hello world

[%-5p] method:%l%n%m%n

%p: 输出日志信息优先级，即DEBUG，INFO，WARN，ERROR，FATAL,
%l: 输出日志事件的发生位置，相当于%C.%M(%F:%L)的组合,包括类目名、发生的线程，以及行数。
举例：Testlog4.main(TestLog4.java:10)
%m: 输出代码中指定的消息,产生的日志具体信息
%n: 输出一个回车换行符，Windows平台为”\r\n”，Unix平台为”\n”输出日志信息换行

%c: 输出日志信息所属的类目，通常就是所在类的全名
%M：输出产生日志信息的方法名。
%F: 输出日志消息产生时所在的文件名称
%L: 输出代码中的行号

三.参考文章

Logger之Logger.getLogger(CLass)使用
log4j 日志输出级别
Log4J日志配置详解