Java日志管理：Log4j & Spark设置日志级别的三种方式

一、Logger.getLogger()和LogFactory.getLog()的区别

1.Logger来自log4j自己的包。如果用Logger.getLogger()，需要一个log4j的jar包，用此方式你只能依log4j

2.LogFactory.getLog()则来自apache的common-logging包。你可以用任何实现了通用日志接口的日志记录器替换log4j，而程序不受影响。

apache的common-logging包是通用日志接口，通过这个中间层，你可以随便指定到底用哪个日志系统。增加系统的灵活性。若log4j它不存在, commons-logging 会另行选择其它的日志实现类。 这样保证了程序中不一定要使用log4j这个日志文件了.

增强灵活性的理由： 
1)首先在 classpath 下寻找自己的配置文件 commons-logging.properties ，如果找到，则使用其中定义的 Log 实现类；

2)如果找不到 commons-logging.properties 文件，则在查找是否已定义系统环境变量 org.apache.commons.logging.Log ，找到则使用其定义的 Log 实现类；

3)否则，查看 classpath 中是否有 Log4j 的包，如果发现，则自动使用 Log4j 作为日志实现类；

4)否则，使用 JDK 自身的日志实现类（ JDK1.4 以后才有日志实现类）；

5)否则，使用 commons-logging 自己提供的一个简单的日志实现类 SimpleLog ；

为了简化配置 commons-logging ，一般不使用 commons-logging 的配置文件，也不设置与 commons-logging 相关的系统环境变量，而只需将 Log4j 的 Jar 包放置到 classpash 中就可以了。这样就很简单地完成了 commons-logging 与 Log4j 的融合。

根据不同的性质，日志信息通常被分成不同的级别，从低到高依次是：“调试（ DEBUG ）”“信息（ INFO ）”“警告（ WARN ）”“错误（ERROR ）”“致命错误（ FATAL ）”。

2.1 配置根Logger：

log4j.rootLogger = [ level ] , appenderName1, appenderName2, …
log4j.additivity.org.apache=false：表示Logger不会在父Logger的appender里输出，默认为true。

1. level ：设定日志记录的最低级别，可设的值有OFF、FATAL、ERROR、WARN、INFO、DEBUG、ALL或者自定义的级别，Log4j建议只使用中间四个级别。通过在这里设定级别，您可以控制应用程序中相应级别的日志信息的开关，比如在这里设定了INFO级别，则应用程序中所有DEBUG级别的日志信息将不会被打印出来。
2. appenderName：就是指定日志信息要输出到哪里。可以同时指定多个输出目的地，用逗号隔开。
例如：log4j.rootLogger＝INFO,A1,B2,C3 

2.2 配置日志信息输出目的地（appender）输出终端：

• (1)org.apache.log4j.ConsoleAppender（控制台）
• (2)org.apache.log4j.FileAppender（文件）
• (3)org.apache.log4j.DailyRollingFileAppender（每天产生一个日志文件）
• (4)org.apache.log4j.RollingFileAppender（文件大小到达指定尺寸的时候产生一个新的文件）
• (5)org.apache.log4j.WriterAppender（将日志信息以流格式发送到任意指定的地方）

(1) ConsoleAppender选项

• Threshold=WARN：指定日志信息的最低输出级别，默认为DEBUG。
• ImmediateFlush=true：表示所有消息都会被立即输出，设为false则不输出，默认值是true。
• Target=System.err：默认值是System.out。

(2) FileAppender选项

• Threshold=WARN：指定日志信息的最低输出级别，默认为DEBUG。
• ImmediateFlush=true：表示所有消息都会被立即输出，设为false则不输出，默认值是true。
• Append=false：true表示消息增加到指定文件中，false则将消息覆盖指定的文件内容，默认值是true。
• File=D:/logs/logging.log4j：指定消息输出到logging.log4j文件中。

(3) DailyRollingFileAppender选项

• Threshold=WARN：指定日志信息的最低输出级别，默认为DEBUG。
• ImmediateFlush=true：表示所有消息都会被立即输出，设为false则不输出，默认值是true。
• Append=false：true表示消息增加到指定文件中，false则将消息覆盖指定的文件内容，默认值是true。
• File=D:/logs/logging.log4j：指定当前消息输出到logging.log4j文件中。
• DatePattern='.'yyyy-MM：每月滚动一次日志文件，即每月产生一个新的日志文件。当前月的日志文件名为logging.log4j，前一个月的日志文件名为logging.log4j.yyyy-MM。
  另外，也可以指定按周、天、时、分等来滚动日志文件，对应的格式如下：

1. '.'yyyy-MM：每月
2. '.'yyyy-ww：每周
3. '.'yyyy-MM-dd：每天
4. '.'yyyy-MM-dd-a：每天两次
5. '.'yyyy-MM-dd-HH：每小时
6. '.'yyyy-MM-dd-HH-mm：每分钟

(4) RollingFileAppender选项

• Threshold=WARN：指定日志信息的最低输出级别，默认为DEBUG。
• ImmediateFlush=true：表示所有消息都会被立即输出，设为false则不输出，默认值是true。
• Append=false：true表示消息增加到指定文件中，false则将消息覆盖指定的文件内容，默认值是true。
• File=D:/logs/logging.log4j：指定消息输出到logging.log4j文件中。
• MaxFileSize=100KB：后缀可以是KB, MB 或者GB。在日志文件到达该大小时，将会自动滚动，即将原来的内容移到logging.log4j.1文件中。
• MaxBackupIndex=2：指定可以产生的滚动文件的最大数，例如，设为2则可以产生logging.log4j.1，logging.log4j.2两个滚动文件和一个logging.log4j文件。

 

2.3 配置日志信息的输出格式（Layout）

log4j.appender.appenderName.layout=className

className：可设值如下：

• (1)org.apache.log4j.HTMLLayout（以HTML表格形式布局）

• (2)org.apache.log4j.PatternLayout（可以灵活地指定布局模式）

• (3)org.apache.log4j.SimpleLayout（包含日志信息的级别和信息字符串）

• (4)org.apache.log4j.TTCCLayout（包含日志产生的时间、线程、类别等等信息）

(1) HTMLLayout选项

• LocationInfo=true：输出java文件名称和行号，默认值是false。
• Title=My Logging： 默认值是Log4J Log Messages。

(2) PatternLayout选项：

ConversionPattern=%m%n：设定以怎样的格式显示消息。

 

 

格式化符号说明：

• %p：输出日志信息的优先级，即DEBUG，INFO，WARN，ERROR，FATAL。
• %d：输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式，如：%d{yyyy/MM/dd HH:mm:ss,SSS}。
• %r：输出自应用程序启动到输出该log信息耗费的毫秒数。
• %t：输出产生该日志事件的线程名。
• %l：输出日志事件的发生位置，相当于%c.%M(%F:%L)的组合，包括类全名、方法、文件名以及在代码中的行数。例如：test.TestLog4j.main(TestLog4j.java:10)。
• %c：输出日志信息所属的类目，通常就是所在类的全名。
• %M：输出产生日志信息的方法名。
• %F：输出日志消息产生时所在的文件名称。
• %L:：输出代码中的行号。
• %m:：输出代码中指定的具体日志信息。
• %n：输出一个回车换行符，Windows平台为"\r\n"，Unix平台为"\n"。
• %x：输出和当前线程相关联的NDC(嵌套诊断环境)，尤其用到像java servlets这样的多客户多线程的应用中。
• %%：输出一个"%"字符。

Log4j比较全面的配置

Log4j配置文件实现了输出到控制台、文件、回滚文件、发送日志邮件、输出到数据库日志表、自定义标签等全套功能。

log4j.rootLogger=DEBUG,console,dailyFile,im
log4j.additivity.org.apache=true

# 控制台(console)
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.Threshold=DEBUG
log4j.appender.console.ImmediateFlush=true
log4j.appender.console.Target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n

# 日志文件(logFile)
log4j.appender.logFile=org.apache.log4j.FileAppender
log4j.appender.logFile.Threshold=DEBUG
log4j.appender.logFile.ImmediateFlush=true
log4j.appender.logFile.Append=true
log4j.appender.logFile.File=D:/logs/log.log4j
log4j.appender.logFile.layout=org.apache.log4j.PatternLayout
log4j.appender.logFile.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n

# 回滚文件(rollingFile)
log4j.appender.rollingFile=org.apache.log4j.RollingFileAppender
log4j.appender.rollingFile.Threshold=DEBUG
log4j.appender.rollingFile.ImmediateFlush=true
log4j.appender.rollingFile.Append=true
log4j.appender.rollingFile.File=D:/logs/log.log4j
log4j.appender.rollingFile.MaxFileSize=200KB
log4j.appender.rollingFile.MaxBackupIndex=50
log4j.appender.rollingFile.layout=org.apache.log4j.PatternLayout
log4j.appender.rollingFile.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n

# 定期回滚日志文件(dailyFile)
log4j.appender.dailyFile=org.apache.log4j.DailyRollingFileAppender
log4j.appender.dailyFile.Threshold=DEBUG
log4j.appender.dailyFile.ImmediateFlush=true
log4j.appender.dailyFile.Append=true
log4j.appender.dailyFile.File=D:/logs/log.log4j
log4j.appender.dailyFile.DatePattern='.'yyyy-MM-dd
log4j.appender.dailyFile.layout=org.apache.log4j.PatternLayout
log4j.appender.dailyFile.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n

# 应用于socket
log4j.appender.socket=org.apache.log4j.RollingFileAppender
log4j.appender.socket.RemoteHost=localhost
log4j.appender.socket.Port=5001
log4j.appender.socket.LocationInfo=true
# Set up for Log Factor 5
log4j.appender.socket.layout=org.apache.log4j.PatternLayout
log4j.appender.socket.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n
# Log Factor 5 Appender
log4j.appender.LF5_APPENDER=org.apache.log4j.lf5.LF5Appender
log4j.appender.LF5_APPENDER.MaxNumberOfRecords=2000

# 发送日志到指定邮件
log4j.appender.mail=org.apache.log4j.net.SMTPAppender
log4j.appender.mail.Threshold=FATAL
log4j.appender.mail.BufferSize=10
log4j.appender.mail.From = xxx@mail.com
log4j.appender.mail.SMTPHost=mail.com
log4j.appender.mail.Subject=Log4J Message
log4j.appender.mail.To= xxx@mail.com
log4j.appender.mail.layout=org.apache.log4j.PatternLayout
log4j.appender.mail.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n

# 应用于数据库
log4j.appender.database=org.apache.log4j.jdbc.JDBCAppender
log4j.appender.database.URL=jdbc:mysql://localhost:3306/test
log4j.appender.database.driver=com.mysql.jdbc.Driver
log4j.appender.database.user=root
log4j.appender.database.password=
log4j.appender.database.sql=INSERT INTO LOG4J (Message) VALUES('=[%-5p] %d(%r) --> [%t] %l: %m %x %n')
log4j.appender.database.layout=org.apache.log4j.PatternLayout
log4j.appender.database.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n

# 自定义Appender
log4j.appender.im = net.cybercorlin.util.logger.appender.IMAppender
log4j.appender.im.host = mail.cybercorlin.net
log4j.appender.im.username = username
log4j.appender.im.password = password
log4j.appender.im.recipient = corlin@cybercorlin.net
log4j.appender.im.layout=org.apache.log4j.PatternLayout
log4j.appender.im.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n

 

常见

先看一个常见的log4j.properties文件，它是在控制台和myweb.log文件中记录日志：

log4j.rootLogger=DEBUG, stdout, logfile
 
log4j.category.org.springframework=ERROR
log4j.category.org.apache=INFO
 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern= %d{yyyy-MM-dd HH:mm:ss}  %p [%t] %C.%M(%L) | %m%n

log4j.appender.logfile=org.apache.log4j.RollingFileAppender
log4j.appender.logfile.File=${myweb.root}/WEB-INF/log/myweb.log
log4j.appender.logfile.MaxFileSize=512KB
log4j.appender.logfile.MaxBackupIndex=5
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

 

二、Spark设置日志级别的三种方式

1.1 Spark-sumbit设置日志级别, Spark job 独立的log4j配置方法

1.1.1 Linux命令如下
spark-submit \
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties"
 

1.2 修改Spark本地conf设置日志级别,修改集群配置文件

cd $SPARK_HOME/conf 
cp log4j.properties.template log4j.properties
vim log4j.properties

将log4j.rootCategory=INFO, console改为log4j.rootCategory=WARN, console
 

1.3 在IDEA中设置日志级别

• 将log4j.properties放在项目的src/main/resources即可
• 代码里配置

spark.sparkContext.setLogLevel("WARN")

2. 总结Spark三种设置日志级别方式

如果在自己的测试集群上, 直接修改$Spark_HOME/conf下的log4j.properties即可
如果在IDEA里,将log4j.properties放在项目的src/main/resources即可
如果在生产环境的集群,又不允许修改配置文件的话,用上面的spark-submit --conf即可