Scala调用Spark工具包出现错误: 找不到或无法加载主类

Spark学习之路 专栏收录该内容
1 篇文章 0 订阅

使用eclipse编辑器搭建spark框架的时候,可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误,不难发现网上很多信息指出这是因为混合了java 和scala,造成了不编译。但是,如果有使用他们的解决方法,还是失效的小伙伴们,那么可以试试我的方法。
注:Scala版本为2.11.8;Java版本为1.8;Spark版本为spark-1.6.2-bin-hadoop2.6;系统是Window10。

首先,我们建立一个scala工程——Tmp。
在这里插入图片描述
从图中,可以发现系统默认使用的2.12.3版本的Scala和1.8版本的Java。
然后,添加Spark关联包。选中Tmp文件夹点右键,找到properties选项并点击。
在这里插入图片描述
如图所示,选择Java Build Path选项,然后,再点击add external JARS选项。导入spark-1.6.2-bin-hadoop2.6\lib中的spark-assembly-1.6.2-hadoop2.6.0.jar文件。最后,点击apply。
在这里插入图片描述
从上图,可以发现Tmp文件左下角有一个红色的小叉,这是因为Scala的版本没有设置好。选择上图中的Scala Compiler选项,然后,按下图标注进行操作。修改Scala的版本
在这里插入图片描述
再选择Build manager选项,设置Scala和Java调用的前后顺序(这一步看情况而定,如果上一步已经使小红叉消失,就没有必要设置这一步了)。最后,选择菜单栏的project中的clean操作后小红叉消失,程序运行正常!
在这里插入图片描述
在这里插入图片描述
与别的方法不同,此次使用的是Spark1.6版本,没有使用2.0以上的版本,这是因为在2.0以上版本中Spark文件中没有lib文件,就无法导入spark-assembly-1.6.2-hadoop2.6.0.jar文件了。而导入其它的jar文件即使Scala和Java的顺序设置正确,我的电脑也会出现这个问题。目前,还没有找到更好的方法,只是降低了Spark的版本。希望遇到相同问题的小伙伴,能给我更多建议。

  • 0
    点赞
  • 3
    评论
  • 4
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 代码科技 设计师:Amelia_0503 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值