运行spark.ml和spark.mllib时报错java.lang.NoClassDefFoundError解决方法

最新推荐文章于 2022-08-26 17:33:29 发布

若小鱼

最新推荐文章于 2022-08-26 17:33:29 发布

阅读量2.7k

点赞数 10

分类专栏：机器学习文章标签：机器学习 spark 异常

本文链接：https://blog.csdn.net/weixin_44162809/article/details/87719751

版权

机器学习专栏收录该内容

5 篇文章 0 订阅

订阅专栏

在运行spark.ml机器学习库时，执行失败，错误日志为
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/ml/recommendation/ALS
…
Caused by: java.lang.ClassNotFoundException: org.apache.spark.ml.recommendation.ALS
…
或者在运行spark.mllib机器学习库时
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/spark/mllib/recommendation/Rating
…
Caused by: java.lang.ClassNotFoundException: org.apache.spark.mllib.recommendation.Rating

解决方法：
查看maven依赖，
我使用的依赖为

		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-mllib_2.11</artifactId>
			<version>${spark.version}</version>
			<scope>provided</scope>
		</dependency>

将scope修改为compile，即

		<dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-mllib_2.11</artifactId>
			<version>${spark.version}</version>
			<scope>compile</scope>
		</dependency>

重新执行程序，运行成功。
原因：
scope=provided时，我们引用的artifact只在编译、测试阶段被加载，而在运行阶段，程序会认为容器中已经提供了这个artifact的jar包，所以程序就会抛出ClassNotFoundException异常。
而scope=compile，则我们依赖的artifact会在编译、测试、运行阶段都被加载到容器中。