spark job 独立的log4j配置方法

spark中提供了log4j的方式记录日志。可以在$SPARK_HOME/conf/下，将 log4j.properties.template 文件copy为 log4j.properties 来启用log4j配置。但这个配置为全局配置， 不能单独配置某个job的运行日志。本文介绍spark (streaming) job独立配置的log4j的方法。

设置方法

spark job提交时可以在 --conf 中配置log4j.configuration 参数来指定log4j 配置文件吗，例如：
spark-submit ... --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/log4j.xml"
（这里的log4j配置可以是 log4j.properties 或者 log4j.xml ，没有限制）

配置示例

例如使用xml格式配置文件：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">
<log4j:configuration