Spark的日志配置

转载 2016年08月31日 09:54:10

转:http://blog.csdn.net/stark_summer/article/details/46929481

在测试spark计算时,将作业提交到yarn(模式–master yarn-cluster)上,想查看print到控制台这是imposible的,因为作业是提交到yarn的集群上,so 去yarn集群上看日志是很麻烦的,但有特别想看下print的信息,方便调试或者别的目的

在Spark的conf目录下,把log4j.properties.template修改为log4j.properties,原来的内容如下:

#Set everything to be logged to the console
log4j.rootCategory=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

#Settings to quiet third party logs that are too verbose
log4j.logger.org.spark-project.jetty=WARN
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

把log4j.rootCategory=INFO, console改为log4j.rootCategory=WARN, console即可抑制Spark把INFO级别的日志打到控制台上。如果要显示全面的信息,则把INFO改为DEBUG。

如果希望一方面把代码中的println打印到控制台,另一方面又保留spark 本身输出的日志,可以将它输出到日志文件中

log4j.rootCategory=INFO, console,FILE
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Settings to quiet third party logs that are too verbose
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

log4j.appender.FILE=org.apache.log4j.DailyRollingFileAppender
log4j.appender.FILE.Threshold=DEBUG
log4j.appender.FILE.file=/home/hadoop/spark.log
log4j.appender.FILE.DatePattern='.'yyyy-MM-dd
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.ConversionPattern=[%-5p] [%d{yyyy-MM-dd HH:mm:ss}] [%C{1}:%M:%L] %m%n
# spark
log4j.logger.org.apache.spark=INFO

上面的操作,spark的日志一方面打印到控制台,一方面写入到/home/hadoop/spark.log中了,这是日志的继承特性,后面再来改进,目前把log4j.rootCategory=INFO, console,FILE改为log4j.rootCategory=INFO, FILE即可

完美解决Spark应用日志级别设置

最近在研究Spark的相关知识,本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。 一. 日志效率原因 开发时,控制台输出一大堆日志信息,严重影响查看日志效率。 从控制台输出日...
  • a123demi
  • a123demi
  • 2017年06月01日 08:50
  • 4286

spark不同模式下应用程序运行的日志存放位置

spark不同运行模式下,应用程序运行的输出日志位置
  • u011878191
  • u011878191
  • 2015年05月21日 16:55
  • 3557

Spark基础随笔:Spark应用程序中设置日志输出级别

我们通常会使用IDE(例如Intellij IDEA)开发Spark应用,而程序调试运行时会在控制台中打印出所有的日志信息。它描述了(伪)集群运行、程序执行的所有行为。 在很多情况下,这些信息对...
  • jiangpeng59
  • jiangpeng59
  • 2017年01月15日 09:49
  • 2005

Spark配置log4j日志输出

################################################################################  #①配置根Logger,其语法为:...
  • u012036736
  • u012036736
  • 2017年11月22日 10:22
  • 242

Spark的日志配置

在测试spark计算时,将作业提交到yarn(模式–master yarn-cluster)上,想查看print到控制台这是imposible的,因为作业是提交到yarn的集群上,so 去yarn集群...
  • stark_summer
  • stark_summer
  • 2015年07月17日 16:42
  • 47215

使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【大数据】

  • 2017年10月29日 23:00
  • 14KB
  • 下载

spark apache日志分析、流数据处理教程

  • 2015年02月06日 22:28
  • 556KB
  • 下载

基于Spark的用户上网WAP日志分析

  • 2017年11月14日 17:40
  • 1.08MB
  • 下载

基于Spark的用户上网WAP日志分析

  • 2017年02月16日 17:39
  • 1.86MB
  • 下载

基于Flume+Kafka+Spark-的分布式日志流处理系统的设计与实现

  • 2017年05月14日 17:56
  • 446KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark的日志配置
举报原因:
原因补充:

(最多只允许输入30个字)