一、Logger.getLogger()和LogFactory.getLog()的区别
1.Logger来自log4j自己的包。如果用Logger.getLogger(),需要一个log4j的jar包,用此方式你只能依log4j
2.LogFactory.getLog()则来自apache的common-logging包。你可以用任何实现了通用日志接口的日志记录器替换log4j,而程序不受影响。
apache的common-logging包是通用日志接口,通过这个中间层,你可以随便指定到底用哪个日志系统。增加系统的灵活性。若log4j它不存在, commons-logging 会另行选择其它的日志实现类。 这样保证了程序中不一定要使用log4j这个日志文件了.
增强灵活性的理由:
1)首先在 classpath 下寻找自己的配置文件 commons-logging.properties ,如果找到,则使用其中定义的 Log 实现类;
2)如果找不到 commons-logging.properties 文件,则在查找是否已定义系统环境变量 org.apache.commons.logging.Log ,找到则使用其定义的 Log 实现类;
3)否则,查看 classpath 中是否有 Log4j 的包,如果发现,则自动使用 Log4j 作为日志实现类;
4)否则,使用 JDK 自身的日志实现类( JDK1.4 以后才有日志实现类);
5)否则,使用 commons-logging 自己提供的一个简单的日志实现类 SimpleLog ;
为了简化配置 commons-logging ,一般不使用 commons-logging 的配置文件,也不设置与 commons-logging 相关的系统环境变量,而只需将 Log4j 的 Jar 包放置到 classpash 中就可以了。这样就很简单地完成了 commons-logging 与 Log4j 的融合。
根据不同的性质,日志信息通常被分成不同的级别,从低到高依次是:“调试( DEBUG )”“信息( INFO )”“警告( WARN )”“错误(ERROR )”“致命错误( FATAL )”。
2.1 配置根Logger:
log4j.rootLogger = [ level ] , appenderName1, appenderName2, …
log4j.additivity.org.apache=false:表示Logger不会在父Logger的appender里输出,默认为true。
1. level :设定日志记录的最低级别,可设的值有OFF、FATAL、ERROR、WARN、INFO、DEBUG、ALL或者自定义的级别,Log4j建议只使用中间四个级别。通过在这里设定级别,您可以控制应用程序中相应级别的日志信息的开关,比如在这里设定了INFO级别,则应用程序中所有DEBUG级别的日志信息将不会被打印出来。
2. appenderName:就是指定日志信息要输出到哪里。可以同时指定多个输出目的地,用逗号隔开。
例如:log4j.rootLogger=INFO,A1,B2,C3
2.2 配置日志信息输出目的地(appender)输出终端:
- (1)org.apache.log4j.ConsoleAppender(控制台)
- (2)org.apache.log4j.FileAppender(文件)
- (3)org.apache.log4j.DailyRollingFileAppender(每天产生一个日志文件)
- (4)org.apache.log4j.RollingFileAppender(文件大小到达指定尺寸的时候产生一个新的文件)
- (5)org.apache.log4j.WriterAppender(将日志信息以流格式发送到任意指定的地方)
(1) ConsoleAppender选项
- Threshold=WARN:指定日志信息的最低输出级别,默认为DEBUG。
- ImmediateFlush=true:表示所有消息都会被立即输出,设为false则不输出,默认值是true。
- Target=System.err:默认值是System.out。
(2) FileAppender选项
- Threshold=WARN:指定日志信息的最低输出级别,默认为DEBUG。
- ImmediateFlush=true:表示所有消息都会被立即输出,设为false则不输出,默认值是true。
- Append=false:true表示消息增加到指定文件中,false则将消息覆盖指定的文件内容,默认值是true。
- File=D:/logs/logging.log4j:指定消息输出到logging.log4j文件中。
(3) DailyRollingFileAppender选项
- Threshold=WARN:指定日志信息的最低输出级别,默认为DEBUG。
- ImmediateFlush=true:表示所有消息都会被立即输出,设为false则不输出,默认值是true。
- Append=false:true表示消息增加到指定文件中,false则将消息覆盖指定的文件内容,默认值是true。
- File=D:/logs/logging.log4j:指定当前消息输出到logging.log4j文件中。
- DatePattern='.'yyyy-MM:每月滚动一次日志文件,即每月产生一个新的日志文件。当前月的日志文件名为logging.log4j,前一个月的日志文件名为logging.log4j.yyyy-MM。
另外,也可以指定按周、天、时、分等来滚动日志文件,对应的格式如下:
- '.'yyyy-MM:每月
- '.'yyyy-ww:每周
- '.'yyyy-MM-dd:每天
- '.'yyyy-MM-dd-a:每天两次
- '.'yyyy-MM-dd-HH:每小时
- '.'yyyy-MM-dd-HH-mm:每分钟
(4) RollingFileAppender选项
- Threshold=WARN:指定日志信息的最低输出级别,默认为DEBUG。
- ImmediateFlush=true:表示所有消息都会被立即输出,设为false则不输出,默认值是true。
- Append=false:true表示消息增加到指定文件中,false则将消息覆盖指定的文件内容,默认值是true。
- File=D:/logs/logging.log4j:指定消息输出到logging.log4j文件中。
- MaxFileSize=100KB:后缀可以是KB, MB 或者GB。在日志文件到达该大小时,将会自动滚动,即将原来的内容移到logging.log4j.1文件中。
- MaxBackupIndex=2:指定可以产生的滚动文件的最大数,例如,设为2则可以产生logging.log4j.1,logging.log4j.2两个滚动文件和一个logging.log4j文件。
2.3 配置日志信息的输出格式(Layout)
log4j.appender.appenderName.layout=className
className:可设值如下:
-
(1)org.apache.log4j.HTMLLayout(以HTML表格形式布局)
-
(2)org.apache.log4j.PatternLayout(可以灵活地指定布局模式)
-
(3)org.apache.log4j.SimpleLayout(包含日志信息的级别和信息字符串)
-
(4)org.apache.log4j.TTCCLayout(包含日志产生的时间、线程、类别等等信息)
(1) HTMLLayout选项
- LocationInfo=true:输出java文件名称和行号,默认值是false。
- Title=My Logging: 默认值是Log4J Log Messages。
(2) PatternLayout选项:
ConversionPattern=%m%n:设定以怎样的格式显示消息。
格式化符号说明:
- %p:输出日志信息的优先级,即DEBUG,INFO,WARN,ERROR,FATAL。
- %d:输出日志时间点的日期或时间,默认格式为ISO8601,也可以在其后指定格式,如:%d{yyyy/MM/dd HH:mm:ss,SSS}。
- %r:输出自应用程序启动到输出该log信息耗费的毫秒数。
- %t:输出产生该日志事件的线程名。
- %l:输出日志事件的发生位置,相当于%c.%M(%F:%L)的组合,包括类全名、方法、文件名以及在代码中的行数。例如:test.TestLog4j.main(TestLog4j.java:10)。
- %c:输出日志信息所属的类目,通常就是所在类的全名。
- %M:输出产生日志信息的方法名。
- %F:输出日志消息产生时所在的文件名称。
- %L::输出代码中的行号。
- %m::输出代码中指定的具体日志信息。
- %n:输出一个回车换行符,Windows平台为"\r\n",Unix平台为"\n"。
- %x:输出和当前线程相关联的NDC(嵌套诊断环境),尤其用到像java servlets这样的多客户多线程的应用中。
- %%:输出一个"%"字符。
Log4j比较全面的配置
Log4j配置文件实现了输出到控制台、文件、回滚文件、发送日志邮件、输出到数据库日志表、自定义标签等全套功能。
log4j.rootLogger=DEBUG,console,dailyFile,im
log4j.additivity.org.apache=true
# 控制台(console)
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.Threshold=DEBUG
log4j.appender.console.ImmediateFlush=true
log4j.appender.console.Target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n
# 日志文件(logFile)
log4j.appender.logFile=org.apache.log4j.FileAppender
log4j.appender.logFile.Threshold=DEBUG
log4j.appender.logFile.ImmediateFlush=true
log4j.appender.logFile.Append=true
log4j.appender.logFile.File=D:/logs/log.log4j
log4j.appender.logFile.layout=org.apache.log4j.PatternLayout
log4j.appender.logFile.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n
# 回滚文件(rollingFile)
log4j.appender.rollingFile=org.apache.log4j.RollingFileAppender
log4j.appender.rollingFile.Threshold=DEBUG
log4j.appender.rollingFile.ImmediateFlush=true
log4j.appender.rollingFile.Append=true
log4j.appender.rollingFile.File=D:/logs/log.log4j
log4j.appender.rollingFile.MaxFileSize=200KB
log4j.appender.rollingFile.MaxBackupIndex=50
log4j.appender.rollingFile.layout=org.apache.log4j.PatternLayout
log4j.appender.rollingFile.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n
# 定期回滚日志文件(dailyFile)
log4j.appender.dailyFile=org.apache.log4j.DailyRollingFileAppender
log4j.appender.dailyFile.Threshold=DEBUG
log4j.appender.dailyFile.ImmediateFlush=true
log4j.appender.dailyFile.Append=true
log4j.appender.dailyFile.File=D:/logs/log.log4j
log4j.appender.dailyFile.DatePattern='.'yyyy-MM-dd
log4j.appender.dailyFile.layout=org.apache.log4j.PatternLayout
log4j.appender.dailyFile.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n
# 应用于socket
log4j.appender.socket=org.apache.log4j.RollingFileAppender
log4j.appender.socket.RemoteHost=localhost
log4j.appender.socket.Port=5001
log4j.appender.socket.LocationInfo=true
# Set up for Log Factor 5
log4j.appender.socket.layout=org.apache.log4j.PatternLayout
log4j.appender.socket.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n
# Log Factor 5 Appender
log4j.appender.LF5_APPENDER=org.apache.log4j.lf5.LF5Appender
log4j.appender.LF5_APPENDER.MaxNumberOfRecords=2000
# 发送日志到指定邮件
log4j.appender.mail=org.apache.log4j.net.SMTPAppender
log4j.appender.mail.Threshold=FATAL
log4j.appender.mail.BufferSize=10
log4j.appender.mail.From = xxx@mail.com
log4j.appender.mail.SMTPHost=mail.com
log4j.appender.mail.Subject=Log4J Message
log4j.appender.mail.To= xxx@mail.com
log4j.appender.mail.layout=org.apache.log4j.PatternLayout
log4j.appender.mail.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n
# 应用于数据库
log4j.appender.database=org.apache.log4j.jdbc.JDBCAppender
log4j.appender.database.URL=jdbc:mysql://localhost:3306/test
log4j.appender.database.driver=com.mysql.jdbc.Driver
log4j.appender.database.user=root
log4j.appender.database.password=
log4j.appender.database.sql=INSERT INTO LOG4J (Message) VALUES('=[%-5p] %d(%r) --> [%t] %l: %m %x %n')
log4j.appender.database.layout=org.apache.log4j.PatternLayout
log4j.appender.database.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n
# 自定义Appender
log4j.appender.im = net.cybercorlin.util.logger.appender.IMAppender
log4j.appender.im.host = mail.cybercorlin.net
log4j.appender.im.username = username
log4j.appender.im.password = password
log4j.appender.im.recipient = corlin@cybercorlin.net
log4j.appender.im.layout=org.apache.log4j.PatternLayout
log4j.appender.im.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n
常见
先看一个常见的log4j.properties文件,它是在控制台和myweb.log文件中记录日志:
log4j.rootLogger=DEBUG, stdout, logfile
log4j.category.org.springframework=ERROR
log4j.category.org.apache=INFO
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern= %d{yyyy-MM-dd HH:mm:ss} %p [%t] %C.%M(%L) | %m%n
log4j.appender.logfile=org.apache.log4j.RollingFileAppender
log4j.appender.logfile.File=${myweb.root}/WEB-INF/log/myweb.log
log4j.appender.logfile.MaxFileSize=512KB
log4j.appender.logfile.MaxBackupIndex=5
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
二、Spark设置日志级别的三种方式
1.1 Spark-sumbit设置日志级别, Spark job 独立的log4j配置方法
1.1.1 Linux命令如下
spark-submit \
--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties"
1.2 修改Spark本地conf设置日志级别,修改集群配置文件
cd $SPARK_HOME/conf
cp log4j.properties.template log4j.properties
vim log4j.properties
将log4j.rootCategory=INFO, console改为log4j.rootCategory=WARN, console
1.3 在IDEA中设置日志级别
- 将log4j.properties放在项目的src/main/resources即可
- 代码里配置
spark.sparkContext.setLogLevel("WARN")
2. 总结Spark三种设置日志级别方式
如果在自己的测试集群上, 直接修改$Spark_HOME/conf下的log4j.properties即可
如果在IDEA里,将log4j.properties放在项目的src/main/resources即可
如果在生产环境的集群,又不允许修改配置文件的话,用上面的spark-submit --conf即可