2.3.0配置 spark_配置scala 2.11.12的spark-2.3.0 maven依赖项的问题

weixin_39850981

于 2021-01-26 11:29:03 发布

阅读量1k

点赞数

文章标签： 2.3.0配置 spark

本文链接：https://blog.csdn.net/weixin_39850981/article/details/113351442

版权

在使用Eclipse创建Scala性质的Maven项目时，遇到配置Spark 2.3.0与Scala 2.11.12的依赖问题。在POM.xml中添加spark-core_2.11 2.3.0依赖后，出现Maven下载com.clearspring.analytics:stream:jar:2.7.0失败的错误，原因是操作被取消。错误提示表明，除非强制更新，否则Maven不会重新尝试下载。

摘要由CSDN通过智能技术生成

我在尝试在POM.xml中为spark-scala应用程序设置maven denpendency时遇到问题 .

我在用：

SCALA版本

$ scala

Welcome to Scala 2.11.8 (OpenJDK 64-Bit Server VM, Java 1.8.0_162).

SPARK版本：

$ ./spark-shell

Welcome to SPARK version 2.3.0

Using Scala version 2.11.8 (OpenJDK 64-Bit Server VM, Java 1.8.0_162)

Eclipse Version: 4.7.0

在eclipse中，我创建了一个scala性质的maven项目 . 我在Scala Library容器中选择了“最新的2.11捆绑(动态)” .

在POM.xml中，我正在尝试添加

org.apache.spark

spark-core_2.11

2.3.0

但我在eclipse中遇到错误：

未能从https://repo.maven.apache.org/maven2转移com.clearspring.analytics:stream:jar:2.7.0缓存在本地存储库中，直到中心的更新间隔为止，才会重新尝试解析已过去或更新被强制 . 原始错误：无法将工件com.clearspring.analytics:stream:jar:2.7.0从/向中央传输(https://repo.maven.apache.org/maven2)：操作已取消 . org.eclipse.aether.transfer.ArtifactTransferException：无法从https://repo.maven.apache.org/maven2转移com.clearspring.analytics:stream:jar:2.7.0缓存在本地存储库中，解决方案不会重新尝试，直到中心的更新间隔已经过去或强制更新 . 原始错误：无法将工件com.clearspring.analytics:stream:jar:2.7.0从/向中央传输(https://repo.maven.apache.org/maven2)：操作已取消 . org.eclipse.aether.internal.impl.DefaultUpdateCheckManager.newException(DefaultUpdateCheckManager.java:238)atg.eclipse.aether.internal.impl.DefaultUpdateCheckManager.checkArtifact(DefaultUpdateCheckManager.java:206)org.eclipse.aether.internal .impl.DefaultArtifactResolver.gatherDownloads(DefaultArtifactResolver.java:585)org.eclipse.aether.internal.impl.DefaultArtifactResolver.performDownloads(DefaultArtifactResolver.java:503) . . . pom.xml / examples第1行Maven依赖问题