spark设置日志级别的4种方式

1. 修改spark配置文件
   修改$Spark_HOME/conf下的log4j.properties
   
   2.spark-sumbit设置

spark-submit --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/log4j.xml" 

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">
<log4j:configuration xmlns:log4j='http://jakarta.apache.org/log4j/' >

    <appender name="FILE" class="org.apache.log4j.DailyRollingFileAppender">
        <param name="file" value="${log_name}.log" />
        <param name="threshold" value="INFO"/>
        <param name="DatePattern" value="yyyyMMdd"/>
        <param name="append" value="true" />
        <layout class="org.apache.log4j.PatternLayout">
            <param name="ConversionPattern" value="%d [%t] %-5p %c(%L) - %m%n"/>
        </layout>
    </appender>

    <root>
    //指出日志级别
        <priority value ="INFO"/>
        <appender-ref ref="FILE"/> 
    </root>
</log4j:configuration> 

对于可以写死一个log路径，也可以在代码中做设置，例如设置log名字为myLog，可以在Logger初始化之前 设置： System.setProperty(“log_name”, “myLog”);

3. 代码中设置

sc.setLogLevel("WARN")

4. idea中设置

   将log4j.properties放在项目的src/main/resources