Spark 日志错误信息分析及解决方案：log4j、SLF4j

最新推荐文章于 2023-11-23 21:23:37 发布
置顶 最新推荐文章于 2023-11-23 21:23:37 发布
阅读量4.1k 收藏 4
点赞数 3
分类专栏： spark BigData
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/anitinaj/article/details/80902083
版权
本文分析了Spark运行时遇到的log4j和SLF4J绑定错误，指出由于不同环境的jar包版本不一致导致的日志初始化失败问题。解决方案包括明确引入特定版本的slf4j-api、slf4j-log4j12和log4j包，排除冲突的jar，并调整提交作业时的配置选项。
摘要由CSDN通过智能技术生成
Spark 日志错误信息
异常信息：( 解决了好久的问题 )
1、log4j错误类「org.apache.log4j.Appender」被加载，「org.apache.log4j.ConsoleAppender」不能分配给「org.apache.log4j.Appender」，导致sparkContext初始化失败
log4j:ERROR A "org.apache.log4j.ConsoleAppender" object is not assignable to a "org.apache.log4j.Appender" variable.
log4j:ERROR The class "org.apache.log4j.Appender" was loaded by
log4j:ERROR [sun.misc.Launcher$AppClassLoader@55f96302] whereas object of type
log4j:ERROR "org.apache.log4j.ConsoleAppender" was loaded by [org.apache.spark.util.ChildFirstURLClassLoader@687080dc].
log4j:ERROR Could not instantiate appender named "console".
log4j:ERROR A "org.apache.hadoop.log.metrics.EventCounter" object is not assignable to a "org.apache.log4j.Appender" variable.
log4j:ERROR The class "org.apache.log4j.Appender" was loaded by
log4j:ERROR [sun.misc.Launcher$AppClassLoader@55f96302] whereas object of type
log4j:ERROR "org.apache.hadoop.log.metrics.EventCounter" was loaded by [org.apache.spark.util.ChildFirstURLClassLoader@687080dc].
log4j:ERROR Could not instantiate appender named "EventCounter".
log4j:ERROR A "org.apache.log4j.ConsoleAppender" object is not assignable to a "org.apache.log4j.Appender" variable.
log4j:ERROR The class "org.apache.log4j.Appender" was loaded by
log4j:ERROR [sun.misc.Launcher$AppClassLoader@55f96302] whereas object of type
log4j:ERROR "org.apache.log4j.ConsoleAppender" was loaded by [org.apache.spark.util.ChildFirstURLClassLoader@687080dc].
log4j:ERROR Could not instantiate appender named "console".
log4j:ERROR A "org.apache.log4j.varia.NullAppender" object is not assignable to a "org.apache.log4j.Appender" variable.
log4j:ERROR The class "org.apache.log4j.Appender" was loaded by
log4j:ERROR [sun.misc.Launcher$AppClassLoader@55f96302] whereas object of type
log4j:ERROR "org.apache.log4j.varia.NullAppender" was loaded by [org.apache.spark.util.ChildFirstURLClassLoader@687080dc].
log4j:ERROR Could not instantiate appender named "NullAppender".
log4j:ERROR A "org.apache.log4j.ConsoleAppender" object is not assignable to a "org.apache.log4j.Appender" variable.
log4j:ERROR The class "org.apache.log4j.Appender" was loaded by
log4j:ERROR [sun.misc.Launcher$AppClassLoader@55f96302] whereas object of type
最低0.47元/天 解锁文章
T-Janey
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
spark报错jjava.lang.NoClassDefFoundError: org/slf4j/spi/LoggerFactoryBinder
strelizia
09-30 1854
完整错误 Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/spi/LoggerFactoryBinder at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:756) at java.security.SecureClassLoader.defineC.
Adapt_SaurabhKumar:调整作业解决方案
03-31
6. **日志和监控**：为了跟踪作业的执行状态和调试问题，项目可能会集成如Log4j、SLF4J等日志框架，以及如JMX（Java Management Extensions）来监控系统资源的使用情况。 7. **测试**：Java的JUnit和Mockito等工具...
Spark运行日志去除——log4j.properties
小白
08-17 1238
log4j.rootLogger=ERROR,stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%-20c] - %m%n log4j.appender.logfile=org.apache.log4j.Fil
Spring or SpringBoot项目整合spark日志冲突解决
gx304419380的博客
04-03 1610
去除掉项目中所有的slf4j <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> </exclusion>
Maven项目同时包含Spark和Springboot时导致Log4j与Logback依赖冲突问题解决
二同的技术博客
05-19 1991
当maven项目同时包含Spark和Springboot时，直接运行@SpringBootApplication类会报错，报错信息类似于 Exception in thread "main" java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either remove Logback or the competing imple
scala在spark中使用log4j报不能序列化
xiaolin93的博客
11-14 2066
Caused by: java.io.NotSerializableException: org.apache.log4j.Logger Serialization stack: - object not serializable (class: org.apache.log4j.Logger, value: org.apache.log4j.Logger@149ff4b5) - field
Spring Boot启动报错，log4j2日志依赖冲突，报错提示：log4j-slf4j-impl cannot be present with log4j-to-slf4j
热门推荐
04-09 1万+
（1）问题描述 在Spring Boot基础之上，集成Spring Security框架的时候，启动项目报错： Caused by: org.apache.logging.log4j.LoggingException: log4j-slf4j-impl cannot be present with log4j-to-slf4j 报错内容如下： SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in
Spark升级后无Logging类
11-06
标题中的“Spark升级后无Logging类”问题，指的是...总的来说，Spark 2.0及以上版本的这种改变是为了提供更灵活的日志解决方案，适应不同的项目需求。开发者需要适应新的日志处理方式，以保持代码的兼容性和可维护性。
万亿级数据通道架构介绍.pdf
10-14
第6章深入讨论了数据处理的组件，如日志框架（如slf4j+log4j2）和网络通信库（如Netty+Socket+File）。这些工具和框架的整合，使得系统能以高并发、低延迟的方式处理和传输数据。同时，为了保证数据的一致性和完整性...
java源码：销售预测系统PDP系统.rar
10-13
10. **日志记录**：系统中很可能包含了日志记录框架，如Log4j或SLF4J，用于记录应用程序的运行情况，便于调试和问题追踪。 综上所述，这个销售预测系统PDP系统是一个综合运用了多种Java技术的复杂项目，涵盖了从...
EssentialsMini:精简版
03-27
7. **日志和调试**: 项目可能会使用Log4j、SLF4J等日志框架进行信息记录，方便问题排查。熟悉这些日志库的使用以及如何进行调试是理解项目运行情况的关键。 8. **API集成**: 虽然未明确指出，但精简版工具可能整合...
IDEA中运行Spark报日志和SLF4J问题
最新发布
weixin_52254672的博客
11-23 491
1.在resources目录中添加log4j.properties文件，解决输出很多日志的问题2.在pom.xml中将存在slf4j冲突的包排除掉，解决输出slf4j问题3.在resources目录中添加log4j2.xml文件，解决输出error问题下面给出修改后的pom.xml文件。
log4j遇到的问题
Jimmy的博客
09-02 1973
log4j:ERROR Could not find value for key log4j.appender.logfilel log4j:ERROR Could not instantiate appender named “logfilel”. 1.上一个Appender没写满 不是 一些必须的Appender属性是必须要有的，比如不管哪种Appender，layout要有；又比如...
关于log4j启动报错的记录
weixin_33874713的博客
04-23 494
2019独角兽企业重金招聘Python工程师标准>>> ...
found for dependency: expected at least 1 bean which qualifies as autowire candidate for this depend
cgm625637391的博客
07-04 1698
日志报错： 七月 04, 2019 10:15:48 上午 org.apache.tomcat.util.digester.SetPropertiesRule begin 警告: [SetPropertiesRule]{Server/Service/Engine/Host/Context} Setting property 'source' to 'org.eclipse.jst.j2ee.se...
maven项目引入log4j，log4j启动报错
qq_43228403的博客
02-25 2797
今天想把自己写的小练习项目引入log4j但是遇到遇到了点挫折，总结网上并记录一下我自己的解决方法。 在pom文件中导入log4j后，首先我发现我的maven项目创建时没有自动生成src\main\java和src\main\resources包。 我们需要的是这样的目录结构： 因为我们都知道log4j的配置文件需要放置在src\main\resources目录下，所以我自己创建了java包和recources包 如果想在创建项目是自动生成java和recources包请看这里 https://blog
如何查看Spark日志与排查报错问题
qq_36470898的博客
06-29 3797
一、各界面说明 1.1、查看YARN页面的driver日志 可以在右侧搜索框中填对应application号找到任务，然后点击对应的application号链接，如下图所示： 这样会进入该application的信息界面，“FinalStatus”显示了该application的最后状态，点击下方的“logs”按钮也会进入到driver日志界面，如下图所示： 对于driver日志而言，代码中的**println()和show()等函数的输出，一般都在stdout里，大部分重要的报错信息都在stderr里
log4j:ERROR Could not find value for key log4j.appender.filelog4j:ERROR Could not instantiate appen
weixin_58006226的博客
11-08 590
log4j:ERROR Could not find value for key log4j.appender.filelog4j:ERROR Could not instantiate appen
org.apache.logging.log4j.LoggingException: log4j-slf4j-impl cannot be present with log4j-to-slf4j
09-09
这个错误是由于 log4j-slf4j-impl 和 log4j-to-slf4j 两个库冲突引起的。log4j-slf4j-impl 提供了用于将 Log4j 日志记录转发到 SLF4J 的实现，而 log4j-to-slf4j 则是将 Log4j API 转发到 SLF4J 的适配器。 要解决这个问题，你可以尝试以下几种方法： 1. 删除 log4j-slf4j-impl：如果你不需要将 Log4j 日志记录转发到 SLF4J，可以直接删除 log4j-slf4j-impl 的依赖。 2. 删除 log4j-to-slf4j：如果你想使用 Log4j，而不是 SLF4J，可以删除 log4j-to-slf4j 的依赖。 3. 排除冲突的依赖：如果你需要同时使用 Log4j 和 SLF4J，可以通过在引入 log4j-slf4j-impl 或 log4j-to-slf4j 时排除其中一个依赖来解决冲突。 例如，如果你使用 Maven 来管理依赖，可以在 pom.xml 文件中添加以下代码： ```xml <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-slf4j-impl</artifactId> <version>...</version> <exclusions> <exclusion> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-to-slf4j</artifactId> </exclusion> </exclusions> </dependency> ``` 记得将 "..." 替换为正确的 log4j-slf4j-impl 版本。 希望以上方法能帮到你解决问题！如果还有其他疑问，请告诉我。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值