Maven项目同时包含Spark和Springboot时导致Log4j与Logback依赖冲突问题解决

当maven项目同时包含Spark和Springboot时，直接运行@SpringBootApplication类会报错，报错信息类似于

Exception in thread "main" java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either remove Logback or the competing implementation......

网上针对这个问题普遍做法是在pom.xml中添加exclusion标签，希望可以将springboot中的log模块排除，从而解决冲突。不过这些方法如果直接应用在spark与springboot场景中是不够的，程序仍然会抛出异常。

 

首先需要理解这个错误从何而来？

根据报错信息，错误是因为程序运行时想要使用Logback将信息输出到控制台，但是发现已经有一个其它的Log环境了，也就是被人捷足先登了。

1. 那么第1个小问题是为什么要启动Logback？
   根据spring boot官方文档，springboot默认使用Logback作为输出工具，并且这个依赖包含在了

   <dependency>
       <groupId>org.springframework.boot</groupId>
       <artifactId>spring-boot-starter-web</artifactId>
   </dependency>

   中，也就是当引入spring-boot-starter-web时，也就自动引入了Logback。并且在没有其它声明的情况下，它会默认启动Logback作为输出手段。
2. 接下来是第2个问题，为什么会出现一个已有的Log环境？它是从哪儿来的？
   其实猜一猜也可以知道，这第二个Log环境肯定是来自于Spark，和Springboot不同，Spark使用Log4j作为输出手段，并且这个依赖被包含在了

   <dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-core_${spark.comp.version}</artifactId>
       <version>${spark.version}</version>
   </dependency>

   中，故而会导致日志环境冲突。

那么该如何解决呢？

了解了原因，解决方法就比较直观了，要么移除springboot的logback，要么移除spark的log4j，二者选其一。

不过因为spark是强制使用log4j作为日志工具的，因此解决方法也就只能是移除springboot的logback，统一用log4j输出。

但同时，springboot也有一套log4j，可能会出现版本不兼容问题，因此最稳妥的方法是显式地引入log4j。

下面贴代码：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
    <exclusions>
        <exclusion>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
        </exclusion>
    </exclusions>
</dependency>

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-test</artifactId>
    <scope>test</scope>
</dependency>

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.2.0</version>
    <exclusions>
        <exclusion>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
        </exclusion>
        <exclusion>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
        </exclusion>
    </exclusions>
</dependency>

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.2.0</version>
</dependency>

<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>log4j-over-slf4j</artifactId>
    <version>1.7.25</version>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-api</artifactId>
    <version>1.7.5</version>
</dependency>
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-simple</artifactId>
    <version>1.6.4</version>
</dependency>

plugins部分不需要修改。

另外，如果项目中其它的依赖有包含logback或者log4j的，也需要用exclustion的标签排除掉，不然可能会出现版本不兼容问题。