配置idea的pom.xml文件遇到的问题

最新推荐文章于 2024-07-12 13:02:23 发布
最新推荐文章于 2024-07-12 13:02:23 发布
阅读量3.2k 收藏 2
点赞数
分类专栏： spark 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pangsg/article/details/79803888
版权
在配置IntelliJ IDEA的pom.xml文件时，遇到Spark-core依赖找不到的问题。错误信息显示'org.apache.spark:spark-core_2.1.4:2.1.0'未找到，尽管实际使用的Spark和Scala版本匹配。通过检查本地Spark文件夹，发现版本不一致。将pom.xml中的scala.version从2.1.4更改为2.11后，问题得到解决。
摘要由CSDN通过智能技术生成

今天在配置idea的pom.xml时遇到了一些问题


提示我dependency 'org.apache.spark:spark-core_2.1.4:2.1.0 'not found 

我就奇怪了，因为我的版本就是spark2.1.0、scala版本就是2.1.4 ，为什么会提示错误呢？

我打开了我的spark文件夹，找一下这个jar包，发现版本果然有问题


于是把中

scala.version改为2.11就解决了问题


PsG庞士冠
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark作业升级到spark3 scala 2.12 踩坑和解决方法
南国的技术栈
01-17 5837
前言 因为spark集群的换代升级， 需要从scala 2.11 升级到scala 2.12 spark2升级到spark 3。本篇博客主要讲述南国在将spark 作业升级时遇到的问题和解决办法。 具体步骤 1.升级spark相关依赖 针对于pom文件中类似 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId&gt
一文解决idea配置spark版本问题
qq_33465047的博客
02-09 2255
相信大家在idea中配置spark依赖时，总是会出现各种错误，结合我多次添加spark依赖经验，个人总结，在maven中添加spark依赖出现的错误，主要是因为版本不匹配引起，所下面我给出了两个添加依赖的方式，供大家参考： 第一种，明确scala的版本号 如上图所示，由于spark是基于scala语言的，故在添加spark依赖时，应该明确scala版本号， 故在添加spark依赖时，artifactID 包裹的位置应该是关于scala版本号，而version包裹才是spark的版本号，查看sca
未找到依赖项 ‘org.apache.spark:spark-hive_2.11:2.4.5‘
鸭梨的博客
01-02 6215
idea pom刷新报错 未找到依赖项 'org.apache.spark:spark-hive_2.11:2.4.5' 找到对应的目录删除文件夹重新刷新导入即可 C:\Users\username\.m2\repository\org\apache\spark\spark-hive_2.11 总结 pom导入依赖错误就去对应文件夹删除依赖,然后重新导入,一般就能解决了 ...
idea 安装配置Maven 以及pom.xml依赖的导入
最新发布
SWE19026的博客
07-12 394
下载好之后是一个压缩包 ，将整个文件夹解压后放到自己喜欢的位置。（我这边选择的是3.9.6版本）（这边以POI为例）
IDEA+Maven配置spark的pom.xml以及踩的一个坑
leokingszx的博客
07-19 2777
EmptyDataError不是python里的，所以不能直接 except EmptyDataError: 应使用：
spark 启动报下面的系列错误,报错, 解决方法
qq_21277357的博客
12-16 2908
1.Error:scalac: Scala compiler JARs not found (module 'sparkSql'): C:\Users\Administrator\.m2\repository\org\scala-lang\scala-compiler\2.11.8\scala-compiler-2.11.8.jar 解决方法:pom.xml文件的 <artifactI...
IDEA配置pom.xml
HTK的博客
08-21 6446
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xs
idea中pom.xml文件
05-19
idea中pom.xml文件
IDEA项目的依赖(pom.xml文件)导入问题及解决
08-24
IDEA 项目的依赖(pom.xml 文件)导入问题及解决 IDEA 项目的依赖(pom.xml 文件)导入问题是指在使用 IDEA 开发项目时，pom.xml 文件无法正确导入依赖项的问题。这种问题会导致项目无法正常编译和运行，影响开发效率和...
spark-core_2.11-1.6.0.jar
05-24
spark-core_2.11-1.6.0.jar spark-core_2.11-1.6.0.jar
spark-core_2.11-1.5.2.logging.jar解决spark升级没有log的jar包
05-27
解决Spark升级到2.1后测试streaming-kafkaIDEA报java.lang.NoClassDefFoundError: org/apache/spark/Logging错误，将这个jar包放到spark的lib目录中，将这个jar包导进IDEA中的依赖,文档中除资源地址外，还有详细图解说明
解决IDEA创建maven项目时pom.xml没有变蓝的问题
09-07
当IDEA导入已有的Maven项目时，如果未能自动识别`pom.xml`，可能是因为IDEA的Maven配置问题或者项目结构不标准。按照上述手动添加和刷新Maven配置的方法，通常可以解决问题。 - **Maven本地仓库** Maven的本地...
maven的本地仓库配置文件settings.xml和项目中文件pom.xml.zip
09-08
一、Idea关联的maven本地仓库配置文件settings.xml （1）必须使用默认文件名 D:\developsoft\javaweb\commonPlugins\maven\apache-maven-3.8.1_first\conf\settings.xml 二、Myeclipse关联的maven本地仓库配置文件...
IntelliJ IDEA maven配置，设置pom.xml的配置文件
08-23
本文将详细介绍如何在IntelliJ IDEA中配置Maven以及如何设置和管理pom.xml文件。 首先，我们需要确保IntelliJ IDEA已经安装了Maven插件。通常情况下，IDEA会自动包含这个插件，如果没有，可以通过"File" -> ...
关于spark 版本问题遇到的一些依赖冲突报错
qq_42265026的博客
03-12 3303
关于spark 版本问题遇到的一些依赖冲突报错第一个问题第二个问题第三个问题 第一个问题 对于spark 2.3.2版本，使用的依赖如下，在本地执行测试的时候报错误： Exception in thread “main” java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.elapsedMillis()J 经过查资料，原因应该是这个spark版本中的guava版本为 16.0.1 ，该版本中移除了相关方法，所以会导致报错。 <de
idea 中 Maven下载cdh依赖失败等问题
CY012的博客
07-25 3601
原本是完成 springboot + hbase，在 pom.xml 中添加依赖（springboot采用 1.5.3）： <dependency> <groupId>com.spring4all</groupId> <artifactId>spring-boot-starter-hbase</artifactId> <version>1.0.0.RELEASE
spark环境运行程序遇到几个坑
David的专栏
07-17 4823
1.mac下brew安装spark，运行spark-shell或start-all.sh提示spark-config start-master.sh等找不到 建议在spark.apache.org/download.html下载压缩文件，在本地解压后修改环境变量即可。 brew安装的spark，sbin目录在安装目录的libexec下面，运行脚本都是在安装目录／sbin下寻找，如此就会出现运行
idea pom.xml文件名为红色
07-17
对于IDEA中的pom.xml文件名显示为红色的情况，有几种可能的原因： 1. 文件路径不正确：请确保pom.xml文件位于正确的位置。在Maven项目中，pom.xml通常应位于项目的根目录下。 2. 文件名拼写错误：请检查文件名是否正确拼写为pom.xml。大小写也需要匹配，因为在某些操作系统中，文件名是区分大小写的。 3. 项目配置错误：有时候，IDEA可能无法正确加载Maven项目。您可以尝试重新导入或刷新项目来解决此问题。可以在IDEA中选择"File"菜单下的"Invalidate Caches/Restart"选项，然后重新导入项目。 4. Maven配置错误：如果您的Maven配置文件（settings.xml）中存在错误或配置不正确，可能会导致IDEA无法正确加载Maven项目。您可以检查Maven配置文件，并确保其中的设置正确。 如果上述方法都没有解决问题，您可以尝试在IDEA中清除缓存并重新启动IDEA，或者尝试更新IDEA版本。如果问题仍然存在，建议查看IDEA的日志文件以获取更多详细信息，并考虑向IDEA官方论坛或社区提问以获取更好的支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值