spark2-submit在CDH环境下ClassNotFoundException:org.slf4j.logger

最新推荐文章于 2022-06-15 17:46:38 发布
最新推荐文章于 2022-06-15 17:46:38 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 大数据-spark
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/102463854
版权
大数据-spark 专栏收录该内容
204 篇文章 480 订阅 ¥49.90 ¥99.00
订阅专栏
在CDH环境中尝试使用spark2-submit时遇到ClassNotFoundException:org.slf4j.logger错误。通过在集群上安装spark-gateway服务，问题得到解决，但spark-gateway的具体作用仍不清楚。
摘要由CSDN通过智能技术生成

1.视界

、

2. 背景

从集群的机器上拷贝了一个Spark客户端，结果直接执行spark2-submit命令报错，报错如下图
在这里插入图片描述

3.解决

我们，没做任何操作，客户在集群上装了一个spark-gateway服务就好了，现在还不知道spark-gateway服务有什么用

九师兄
关注
专栏目录
订阅专栏
Windows 10下安装Spark without Hadoop报错：java.lang.NoClassDefFoundError: org/slf4j/Logger
H_X_P_的博客
02-27 1056
Windows 10下安装Spark without Hadoop报错：java.lang.NoClassDefFoundError: org/slf4j/Logger
spark代码中添加logger_如何在spark中使用org.slf4j.Logger？-问答-阿里云开发者社区-阿里云...
weixin_35831969的博客
12-23 446
我正试图用org.slf4j.Logger spark。如果我写如下，我将得到错误non-static field cannot be referenced from a static context。因为该方法main是静态的，但是logger非静态的。import org.apache.spark.api.java.*;import org.apache.spark.SparkConf;imp...
spark-without-hadoop 运行时ClassNotFoundException报错解决办法
ChengYanan的博客
09-15 2643
下载的spark-3.1.2-bin-without-hadoop.tgz。 1.ClassNotFoundException: org.apache.log4j.spi.Filter 启动刚下载的spark就报错： $ ./bin/spark-shell Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefF
Spark2启动报错
UniqueChunBlog
11-16 2951
错误如下：[root@hadoop002 conf]# spark-shell --master local[2] Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger at java.lang.Class.getDeclaredMethods0(Native Method)
org.slf4j.Logger找不到
xugen12的专栏
07-31 2万+
使用eclipse从公司SVN下载了一个项目，测试的时候，发生以下错误： Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger     at org.apache.catalina.loader.WebappClassLoader.loadClass(WebappClassLoader.java:1714)     at
NoClassDefFoundError: org/slf4j/LoggerFactory解决方案
07-26
NoClassDefFoundError: org/slf4j/LoggerFactory解决方案，需要添加的三个jar包都在，slf4j-api-1.5.2,slf4j-log4j12-1.5.2,log4j-1.2.12
SparkClassNotFoundException: xxx
MCY的博客
01-14 633
问题原因： spark应用在计算时使用到第三方依赖jar包，在spark集群运行时如果没有提供此jar包 则会发生java.lang.ClassNotFoundException！ 解决办法： 第一种方法： 将第三方依赖jar包，提前准备到spark集群的每一个计算节点（太麻烦不建议） 第二种方法： 提交spark应用的时候，添加参数，在线下载需要的第三方依赖（麻烦且有问题不建议） 第三种方案【推...
Cloudera Manager拓展SPARK2-2.3.0.cloudera3-1.cdh5.6.0.p0.1-el6.parcel
m0_45993982的博客
11-26 1875
一、准备工作 Centos6.5的系统 Cloudera Manager 版本5.6 Spark2.3依赖的jdk1.8 网上的资料提供的下载地址下载不了，只能基于原有的SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel修改 从头制作可以参考如下 参考地址1 二、开始适配 1.parcel包制作 包名规则： 以SPARK2-2.3.0.cloudera3-1.cdh5.6.0.p0.1-el6.parcel为例，第一个-前是包名，最后一个-后是
cdh运行spark2-shell，hive异常处理
qq_31108731的博客
10-30 1185
1、Cause: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask ; Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.ha...
Spark启动时出现Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configur
丨若寒丶的博客
02-20 1万+
$ sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /home/hadoop/spark-1.6.0-cdh5.13.2/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-bigdata.out failed to launc...
spark常见问题错误 汇总
我丶怀念的的博客
08-13 5637
  一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的操作 4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标服务器上编译打包。 5.kafka的log.dirs不要设置成/tmp下的目录，貌似...
搭建Spark所遇过的坑
等风等雨等你
12-07 994
原文链接：https://mp.csdn.net/postedit/82423831 出现此类问题有很多种, 当时遇到这问题的因为是在spark未改动的情况下, 更换了Hive的版本导致版本不对出现了此问题, 一.经验 Spark Streaming包含三种计算模式：nonstate .stateful .window kafka可通过配置文件使用自带的zookeeper集群 Spark...
java运行提示没有 org/slf4j/LoggerFactory 或者 log4j
月夜长影
06-15 8892
java 提示java.lang.NoClassDefFoundError: org/slf4j/LoggerFactory
ClassNotFoundException: org.slf4j.Logger报错问题
a760352276的博客
06-12 6246
ClassNotFoundException: org.slf4j.Logger报错解决1.jar包没有导入2.检查idea编译器 1.jar包没有导入 检查一下jar包是否添加到依赖（这一部分是检查pom.xml这个文件），看看是否有依赖缺失。 2.检查idea编译器 因为楼主是基于idea进行编程的，想尝试用aop解决日志问题。但是一个晚上都报错。 1.我首先排查了依赖，发现并已经导入了；但是我启动仍然报错 2.检查idea中Artifacts中的依赖 我是在这里出现问题的；我删掉了之前的war包，
Caused by: java.lang.ClassNotFoundException: org.slf4j.LoggerFactory
u012339998的专栏
11-12 7704
Nutz启动定时器报错：Caused by: java.lang.ClassNotFoundException: org.slf4j.LoggerFactory 时间:20151112 今天早上帮同事看了个定时器的问题，她的需求是9:30~10:30一个阶段，13:30~14:30一个阶段......四个阶段。现在在调定时器除了问题：Caused by: java.lang.C...
java.lang.NoClassDefFoundError: org/slf4j/Logger 错误的解决
NULL BLOG
10-22 1万+
安装 log2j 2.7，将 zip 内所有的 jar 导入 Eclipse 后，用 JUnit 测试，结果发生了java.lang.NoClassDefFoundError: org/slf4j/Logger 错误，检查后发现将 log4j-to-slf4j-2.7.jar 从导入中删除，保留 log4j-slf4j-impl-2.7.jar 则问题解决
java异常 java.lang.NoClassDefFoundError: org/slf4j/LoggerFactory
热门推荐
小小布的程序世界
01-12 10万+
错误的原因是因为缺少slf4j日志组件jar包造成的，slf4j是一个开源的日志组件，和log4j类似，都是用来记录日志的开源组件。 SLF4J，即简单日志门面（Simple Logging Facade for Java），不是具体的日志解决方案，它只服务于各种各样的日志系统。按照官方的说法，SLF4J是一个用于日志系统的简单Facade，允许最终用户在部署其应用时使用其所希望的日志系统。
java.lang.NoClassDefFoundError: org/slf4j/Logger
小张的博客
08-01 2345
1、出现这种问题在网上找了很多答案都不行，然后看了一下pom文件 缺少 <dependency>     <groupId>org.slf4j</groupId>     <artifactId>slf4j-api</artifactId>     <version>1.7.22</version> &
如何启用设置org.slf4j.Logger打印并输出日志
It_sharp的博客
09-06 3926
如何启用设置org.slf4j.Logger打印并输出日志
python 远程spark java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver
最新发布
09-16
在你的情况中，你可以将mysql-connector-java-8.0.20.jar文件拷贝到/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/spark/jars目录下。 2. 然后，你需要在spark配置文件中指定这个jar包的路径。你可以...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值