spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/conf/下,将 log4j.properties.template
文件copy为 log4j.properties
来启用log4j配置。但这个配置为全局配置, 不能单独配置某个job的运行日志。本文介绍spark (streaming) job独立配置的log4j的方法。
设置方法
spark job提交时可以在 --conf
中配置log4j.configuration
参数来指定log4j
配置文件吗,例如:
spark-submit ... --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/log4j.xml"
(这里的log4j配置可以是 log4j.properties
或者 log4j.xml
,没有限制)
配置示例
例如使用xml格式配置文件:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">
<log4j:configuration