sparkconf 无法自动导入_导入spark程序的maven依赖包时,无法导入,报错Unable to import maven project: See logs for details...

当尝试导入包含 Sparkconf 的 Maven 项目时,遇到 'Unable to import maven project: See logs for details' 错误。问题根源在于maven版本不兼容,使用的是3.6.0版本。解决方案是切换到 IntelliJ IDEA 内置的 Maven 3.3.9 版本。依赖包括 scala-library、spark-core_2.11 和 scala-maven-plugin 等。测试了更换仓库和删除、逐个添加依赖项等方法,但未解决问题。
摘要由CSDN通过智能技术生成

问题:

导入spark程序的maven依赖包时,无法导入,且报错:

0:23 Unable to import maven project: See logs for details

2019-08-23 00:34:05,140 [ 747292] WARN - #org.jetbrains.idea.maven - Cannot reconnect.

java.lang.RuntimeException: Cannot reconnect.

at org.jetbrains.idea.maven.server.RemoteObjectWrapper.perform(RemoteObjectWrapper.java:111)

at org.jetbrains.idea.maven.server.MavenIndexerWrapper.createIndex(MavenIndexerWrapper.java:61)

at org.jetbrains.idea.maven.indices.MavenIndex.createContext(MavenIndex.java:396)

at org.jetbrains.idea.maven.indices.MavenIndex.access$500(MavenIndex.java:48)

at org.jetbrains.idea.maven.indices.MavenIndex$IndexData.(MavenIndex.java:703)

at org.jetbrains.idea.maven.indices.MavenIndex.doOpen(MavenIndex.java:236)

at org.jetbrains.idea.maven.indices.MavenIndex.open(MavenIndex.java:202)

at org.jetbrains.idea.maven.indices.MavenIndex.(MavenIndex.java:104)

at org.jetbrains.idea.maven.indices.MavenIndices.add(MavenIndices.java:92)

at org.jetbrains.idea.maven.indices.MavenIndicesManager.ensureIndicesExist(MavenIndicesManager.java:174)

at org.jetbrains.idea.maven.indices.MavenProjectIndicesManager$3.run(MavenProjectIndicesManager.java:117)

at com.intellij.util.ui.update.MergingUpdateQueue.execute(MergingUpdateQueue.java:337)

at com.intellij.util.ui.update.MergingUpdateQueue.execute(MergingUpdateQueue.java:327)

at com.intellij.util.ui.update.MergingUpdateQueue.lambda$flush$1(MergingUpdateQueue.java:277)

at com.intellij.util.ui.update.MergingUpdateQueue.flush(MergingUpdateQueue.java:291)

at com.intellij.util.ui.update.MergingUpdateQueue.run(MergingUpdateQueue.java:246)

at com.intellij.util.concurrency.QueueProcessor.runSafely(QueueProcessor.java:246)

at com.intellij.util.Alarm$Request.runSafely(Alarm.java:417)

at com.intellij.util.Alarm$Request.access$700(Alarm.java:344)

at com.intellij.util.Alarm$Request$1.run(Alarm.java:384)

at com.intellij.util.Alarm$Request.run(Alarm.java:395)

at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)

at java.util.concurrent.FutureTask.run(FutureTask.java:266)

at com.intellij.util.concurrency.SchedulingWrapper$MyScheduledFutureTask.run(SchedulingWrapper.java:242)

at com.intellij.util.concurrency.BoundedTaskExecutor$2.run(BoundedTaskExecutor.java:212)

at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)

at java.lang.Thread.run(Thread.java:745)

Caused by: java.rmi.UnmarshalException: Error unmarshaling return header; nested exception is:

java.net.SocketException: Connection reset

原因:maven版本问题,我原来使用的是maven3.6.0,不兼容。

我需要导入的maven依赖如下:

2.11.8

2.7.4

2.1.3

org.scala-lang

scala-library

${scala.version}

org.apache.spark

spark-core_2.11

${spark.version}

src/main/scala

src/test/scala

net.alchim31.maven

scala-maven-plugin

3.2.2

compile

testCompile

-dependencyfile

${project.build.directory}/.scala_dependencies

org.apache.maven.plugins

maven-shade-plugin

2.4.3

package

shade

*:*

META-INF/*.SF

META-INF/*.DSA

META-INF/*.RSA

测试步骤:

1.更换仓库为一个空白的repository。同时该仓库的路径比较浅,怀疑是原来的仓库的路径太深了。或者原来仓库内容有问题。没用。

2.pom.xml中删除一些依赖、插件,然后一个个添加,没用。

解决方法:更换maven为idea自带的maven3.3.9.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值