搭建运行spark streaming过程遇到的问题

搭建运行spark streaming过程遇到的问题

问题描述

完成spark streaming之后执行mvn package之后出现如下错误:

Failed to execute goal org.scala-tools:maven-scala-plugin:2.15.2:testCompile (default) on project  ProjectXXX

出现问题原因:

这个问题,是IDEA里的Scala版本 与 本地win里的Scala版本不合理

解决方法:

(1)下载对应的本地scala版本(我的pom.xml中的是scala2.11.12)到windows环境中,我下载的是scala2.11.12.mmsi版本,下载完成安装之后,默认其已经配置好了系统环境变量path;

执行scala -version命令可以看到如下表示成功:

C:\Users\user>scala -version
Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

(2)然后在idea的已有项目名称上右键选择“open muddle settings”->“Global Libraries”,点击加号添加相应的scala sdk版本,确定即可!

在这里插入图片描述

最后好从新执行相应的mvn package命令打包成功!!

[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ MySparkStreamTest1 ---
[INFO] Building jar: F:\bigdata\IDEA-workspace\MySparkStreamTest1\target\MySparkStreamTest1-1.0-SNAPSHOT.jar
[INFO]
[INFO] --- maven-assembly-plugin:3.0.0:single (make-assembly) @ MySparkStreamTest1 ---
[INFO] Building jar: F:\bigdata\IDEA-workspace\MySparkStreamTest1\target\MySparkStreamTest1-1.0-SNAPSHOT-jar-with-dependencies.jar
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:44 min
[INFO] Finished at: 2019-06-28T10:59:59+08:00
[INFO] ------------------------------------------------------------------------

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值