Caused by: java.lang.ClassNotFoundException: org.apache.spark.ml.param.Param

最新推荐文章于 2023-09-13 22:30:04 发布
最新推荐文章于 2023-09-13 22:30:04 发布
阅读量831 收藏
点赞数 1
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33286695/article/details/86569063
版权

问题是:
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/ml/param/Param
at saprk_ML.demo01.main(demo01.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.ml.param.Param
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
… 1 more
原因：自己在pom文件中加入

provided
此标签表示编译环境可用，运行时则不可用，主要是在 打包时不将这些依赖打进来，因为服务器上有，以免包过大

解决方案：本地运行时注销掉provided,reimport maven projects

binbincoder
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark运行时出现错误Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD
石榴姐yyds
02-27 5726
1 报错信息 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$ at Demo1_QuickStart$.main(Demo1_QuickStart.scala:7) at Demo1_QuickStart.main(Demo1_QuickStart.scala) Caused by: java.lang.ClassNotFoundException: org.a
spark.ml.param.shared
World of betterluck
04-14 895
各种变量类型（模型参数类型）的接口package org.apache.spark.ml.param.sharedimport org.apache.spark.ml.param._// DO NOT MODIFY THIS FILE! It was generated by SharedParamsCodeGen.// scalastyle:off/** * Trait for shared p
Caused by: java.lang.ClassNotFoundException常见异常解决方法
热门推荐
关注我看更多东西
05-19 8万+
常见的Caused by: java.lang.ClassNotFoundException异常原因
java.lang.NoClassDefFoundError: org/apache/spark/AccumulatorParam
weixin_41877582的博客
10-26 1917
报这个错误是因为在spark3.0.0里面没有这个类 但是使用的是公司的提供的hive，需要这个类，我就替换掉了公司提供的hive，从官网上下载了hive3.1.2，然后就没有报错了
ClassNotFoundException: org.apache.spark.AccumulatorParam 解决方案
记录点点滴滴
03-13 6136
ClassNotFoundException: org.apache.spark.AccumulatorParam 解决方案错误现象 :解决方案 : 错误现象 : Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorParam FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTas
spark程序报错
m0_59416406的博客
02-01 318
只要一加 val sc: SparkContext = new SparkContext(sparkConf)这个行就报错，不加就可以运行出数据。
Sentinel无法读取nacos的流控配置，提示Caused by: java.lang.NoClassDefFoundError: com/alibaba/csp/sentinel/datasou
lwkkk的博客
04-10 4631
Sentibel无法读取nacos的流控配置
有关java.lang.ClassNotFoundException报错的总结
默主归沙的博客
03-28 5844
在运行spark程序的时候，总是报这个错误java.lang.ClassNotFoundException，折磨了我一整天。 现在我解决了这个bug。我就想总结一下遇到这个情况如何排查它。 一、查看自己的运行入口 ${SPARK_HOME}/bin/spark-submit \ #spark指令 --jars /usr/local/hive/auxlib/hudi-spark-bundle_2.11-0.5.2-incubating.jar \ #加载的jar包 --conf spark...
tomcat启动报错：java.lang.NoClassDefFoundError
wuxun1997的专栏
05-09 657
　　tomcat启动加载spring配置文件时报错，找不到类GetHelloRequest，经排查实际上该类已经存在。后来发现日志里还有一句：This is very likely to create a memory leak，怀疑内存不足，看了下环境，起了不少tomcat进程，杀掉几个再重启tomcat，这次就拉起来了。 　　具体catalina.out里的报错日志如下： 09-May-...
mybatis构建源码问题过程中出现解决java.lang.ClassNotFoundException: com.mysql.jdbc.Driver问题
weixin_46275076的博客
01-20 574
mybatis源码解析 在解析源码的时候，首先需要编写入门代码 按照官方文档 https://mybatis.org/mybatis-3/index.html 编写入门代码 编写完后，出现以下问题： 下面展示一些 内联代码片。 User // An highlighted block package org.apache.ibatis.demo.entity; import java.util.Date; /** * @author dy * @version 1.0 * @descriptio
mybatis使用pagehelper分页报错java.lang.ClassCastException: com.github.pagehelper.PageHelper cannot be cast
Baymax0912的博客
10-27 1683
项目场景： MyBatis可以使用第三方的插件来对功能进行扩展，分页助手PageHelper是将分页的复杂操作进行封装，使用简单的方式即可获得分页的相关数据，导入通用PageHelper的坐标后，在mybatis核心配置文件中配置PageHelper插件，然后进行测试 问题描述： 报错信息为： Cause: org.apache.ibatis.builder.BuilderException: Error parsing SQL Mapper Configuration. Cause: java.lan
SPARK常见报错
innersense的专栏
04-28 1225
在driver端报： [2020-04-28 10:55:16][main]-[ERROR][org.apache.spark.internal.Logging$class.logError(Logging.scala:91)] Error initializing SparkContext. org.apache.spark.SparkException: Yarn applicatio...
java.lang.ClassNotFoundException: org.apache.hive.service.cli.thrift.TCLIService$Iface
weixin_43472847的博客
05-09 4942
今天编译安装了kettle8.3.10-R版本，然后连上公司的hadoop环境，测试hive2连接时报错： 错误连接数据库 [hive_hdp] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Error connecting to database: (using class org.apache.hive.jdbc.HiveD
完美解决java.lang.classNotFoundException:org.apache.jsp.xxx.jsp
m0_63137059的博客
04-26 5133
在初学JSTL库中常遇见的错误，我花了一下午时间翻各种网站，最后得到解决 一般运行会报这种错误，不要慌，把JSTL库的jar包，放在tomact的lib目录下即可解决 然后重启服务器，就好了。
自定义开发Spark ML机器学习类 - 1
Liam's Blog (AI & BigData)
01-27 2272
初窥门径 Spark的MLlib组件内置实现了很多常见的机器学习算法,包括数据抽取,分类,聚类,关联分析,协同过滤等等. 然鹅,内置的算法并不能满足我们所有的需求,所以我们还是经常需要自定义ML算法. MLlib提供的API分为两类: - 1.基于DataFrame的API,属于spark.ml包. - 2.基于RDD的API, 属于spark.mllib包. 从Spark 2.0开始...
IDEA里tomcat出现Caused by: java.lang.ClassNotFoundException: org.apache.log4j.Logger的解决办法
qq_44859600的博客
01-24 6109
问题描述 本人在本地的测试中能够正确运行log4j，日志文件中也有正确输出。但是当我把整个程序配置到tomcat下后就发生了错误。错误代码为java.lang.ClassNotFoundException: org.apache.log4j.Logger tomcat的具体报错情况如下： 问题分析 我在本地的日志运行正常，说明首先我的代码或者日志本身的配置没有问题。那么问题就出现在我在tomcat环境下我的日志的jar包没有被检测到。也就是说idea本地的配置和tomcat的配置是分离的。因为这只是个小练
Caused by: java.lang.ClassNotFoundException问题总结
qq_46411309的博客
07-30 1万+
Caused by: java.lang.ClassNotFoundException: org.apache.flink.table.api.bridge.java.internal.BatchTableEnvironmentImpl 一、原因找不到BatchTableEnvironmentImpl 确实没有。 二、 解决 分析原因：下载的jar包里不存在方法实现，可能是因为网络原因；也有可能配的依赖就没有这个实现。 由于用到这个方法的程序是批处理，所以应该导入批处理依赖 <dependency
hive on spark 配置时报错：Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorPa
jackfeng86的专栏
12-27 4105
1.执行sql语句，报错信息。 hive> insert into table student values(1,'abc'); Query ID = atguigu_20200814150018_318272cf-ede4-420c-9f86-c5357b57aa11 Total jobs = 1 Launching Job 1 out of 1 In order to change the average load for a reducer (in bytes): set hive.exec
解决Java类加载异常：java.lang.ClassNotFoundException
weixin_56851586的博客
09-13 3万+
异常是由于缺少相关依赖库或配置问题导致的类加载异常。解决这个问题需要检查依赖库配置和相关配置文件，并确保版本兼容性。在遇到类加载异常时，可以通过分析异常信息并采取相应的解决方案来解决问题。
caused by: java.lang.classnotfoundexception: org.apache.spark.sparkconf
最新发布
01-16
这个错误是由于在Java程序中找不到org.apache.spark.sparkconf类而导致的。org.apache.spark.sparkconf类是Apache Spark框架中用于配置Spark应用程序的类。当程序尝试调用该类时，如果在classpath中找不到该类，就会抛出java.lang.ClassNotFoundException异常。 要解决这个问题，我们可以按照以下步骤操作： 1. 确保Apache Spark已经正确安装并配置好了环境变量。 2. 检查程序的classpath是否包含了Spark的相关库文件。 3. 确保程序中正确引用了org.apache.spark.sparkconf类，并且类的名称没有拼写错误。 4. 如果是在IDE中开发程序，可以尝试重新导入Spark的相关库文件，或者重建项目的构建路径。 另外，还有一些更深层次的原因可能导致这个错误，比如项目依赖的Spark版本与实际环境中安装的Spark版本不匹配，导致找不到相应的类。需要检查项目的依赖管理工具（比如Maven、Gradle等）中是否正确配置了Spark的版本信息。 总之，要解决这个错误，首先需要确认环境配置正确，然后检查程序的类路径和引用是否正确，最后可以考虑深层次的原因。通过以上步骤的排查和调试，通常能够解决这个类找不到的异常错误。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值