spark作业升级到spark3 scala 2.12 踩坑和解决方法

最新推荐文章于 2023-05-06 10:23:33 发布
最新推荐文章于 2023-05-06 10:23:33 发布
阅读量5.9k 收藏 6
点赞数 2
分类专栏： 大数据 Spark 文章标签： spark3 jackson nacos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38073885/article/details/112734906
版权
本文详细记录了在将Spark作业从Scala 2.11和Spark 2升级到Scala 2.12和Spark 3过程中遇到的JAVA_9错误和Jackson版本不兼容问题，以及相应的解决方法，包括升级相关依赖、更新commons-lang版本和解决Nacos中低版本Jackson冲突的问题。
摘要由CSDN通过智能技术生成

前言

因为spark集群的换代升级， 需要从scala 2.11 升级到scala 2.12 spark2升级到spark 3。本篇博客主要讲述南国在将spark 作业升级时遇到的问题和解决办法。

具体步骤

1.升级spark相关依赖

针对于pom文件中类似

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2
最低0.47元/天 解锁文章
提灯寻梦在南国
关注
专栏目录
Spark(3) -- Spark local模式下IDEA集成应用开发(scala版)
erainm
10-01 773
1. 构建Maven Project 创建Maven Project工程【bigdata-spark_2.11】，设置GAV三要素的值如下: 创建Maven Module模块【spark-chapter01_2.11】 添加依赖至POM文件中，内容如下: <!-- 指定仓库位置，依次为aliyun、cloudera和jboss仓库 --> <repositories> <repository> <id>aliyun</id> <url&gt
Spark 2 迁移 Spark 3 参考手册
最新发布
weixin_47499396的博客
08-07 1041
Apache Spark是一个广泛应用于大规模数据处理的开源统一分析引擎。自发布以来，它已经成为大数据处理的事实标准。2020年发布的Spark 3.0带来了许多新特性和改进，极大地提升了性能和易用性。如果你习惯使用Spark 2，那么了解新版本的变化将非常有帮助。 本文将重点介绍Spark 2和Spark 3在语法上的主要差异，帮助开发者顺利过渡到新版本。希望这篇文章能为你在Spark 3上的开发提供一些有用的参考。
Spark3.2教程（前置）关于Spark3.2.0与Scala版本的坑
Java朱老师博客
12-24 5960
        搭建和使用最新版的Spark3.2.0，在版本上踩了很多坑，特此记录一下，避免后来者犯错。 首先看下图，即官网下载Spark的版本选择上的红框介绍：         这里介绍了Spark3用的是Scala2.12，Spark3.2+用的是Scala2.13，但是如果下载下来会发现，该包下的Scala版本是2.12.15，如下图所示：
spark2升级spark3问题记录20230506
weixin_47120324的博客
05-06 452
spark2.3.2使用scala2.11.8版本，spark3.1.1使用scala2.12.14版本，sacla低版本打包导致，推荐切换scala2.12.10版本进行打包。①将commons-configuration-1.6.jar放入spark3/jars目录，可使代码依赖的低版本类找到。②一劳永逸办法：针对新版本commons-configuration2-2.1.1.jar进行适配改造。spark3集群运行依赖jars包含commons-configuration2-2.1.1.jar。
Ubuntu 18.04 安装大数据入门教程（hadoop3.2、scala2.11.12、spark2.4、sbt1.2.8）
xiyeming的博客
04-03 848
Ubuntu 18.04 安装大数据入门教程（hadoop3.2、scala2.12.8、spark2.4、sbt1.2.8）环境依赖说明安装 SSH service安装JDK8安装hadoop3.2Hadoop单机配置Hadoop伪分布式配置安装 Scala2.12.8Spark安装：安装 sbt 环境依赖说明 参考教程 ： https://blog.csdn.net/weixin_42001...
Scala与Spark版本对应关系
python伊甸园的博客
02-29 9911
Scala与Spark版本对应关系 其它版本： 其他版本的Spark都是基于2.11.*版本,只有2.4.2版本的才使用Scala2.12.* 版本进行开发 2.3.x的spark ->选择2.11.x的scala 2.4.x的spark ->选择2.12.x的scala ...
scala-2.12.14.zip&scala-2.12.11.tgz Linux版本压缩包.rar
06-27
Scala是一种强大的多范式编程语言，它融合了面向对象编程和函数式编程的概念，被广泛应用于大数据处理和分布式计算领域，特别是在Apache Spark等框架中。标题提到的"scala-2.12.14.zip&scala-2.12.11.tgz"是Scala的...
Springboot 结合Apache Spark 2.4.4与Scala 2.12 集成示例
09-02
总结来说，Spring Boot结合Apache Spark 2.4.4和Scala 2.12，可以构建出高效的数据处理服务，便于开发、测试和部署。这个集成示例提供了一个基础框架，开发者可以根据实际需求扩展，比如处理更复杂的业务逻辑，或者...
scala-2.12.11.tgz
06-08
Spark2及以上版本需要Scala2.12或更高版本作为其编译基础，因为这些版本的Spark和Scala之间的API进行了优化和调整，以提高性能和兼容性。 在安装Scala之前，确保你的系统已经安装了Java Development Kit (JDK)。JDK...
spark-core_2.11-1.5.2.logging.jar解决spark升级没有log的jar包
05-27
解决Spark升级到2.1后测试streaming-kafkaIDEA报java.lang.NoClassDefFoundError: org/apache/spark/Logging错误，将这个jar包放到spark的lib目录中，将这个jar包导进IDEA中的依赖,文档中除资源地址外，还有详细图解说明
Spark2.4到3.1版本迁移指南(包含Scala和PySpark版本)————附带详细配置信息和代码
韩江雪de 小屋
08-31 2047
文章目录1 Scala1.1 使用编译器1.1.1 Spark3.1版本1.1.1 Spark2.4版本1.2 使用shell1.2.1 spark3.1版本1.2.2 spark2.4版本2 PySpark2.1 IDEA的使用2.1.1 spark3.12.1.2 spark2.42.2 使用shell2.2.1 spark3.12.2.2 spark2.4 1 Scala 1.1 使用编译器 在IDEA上配置的Maven的pom.xml为： 1.1.1 Spark3.1版本 <?xml vers
AbutionGraph新特性-Spark3和2版本无感知切换与无缝对接兼容
图特摩斯科技-博客
07-25 915
兼容性问题说明 我们在做多种大数据平台混合搭建的时候，首先第一件事是考虑兼容性，比如软件在迭代过程中增加与过时一些功能是家常便饭的事，绝大多数情况下并不会考虑别家的软件底层采用什么版本的框架，比如Jetty、jackson、configuration、guava等等，这些框架是开发大数据系统的必备工具，在AbutionGraph中也是如此，往往会因为这些工具在不同大数据平台上的版本不同而无法开发使用，如Spark3.1中的错误： Exception in thread "main" java.lang
配置idea的pom.xml文件遇到的问题
pangsg的博客
04-03 3288
今天在配置idea的pom.xml时遇到了一些问题提示我dependency 'org.apache.spark:spark-core_2.1.4:2.1.0 'not found 我就奇怪了，因为我的版本就是spark2.1.0、scala版本就是2.1.4 ，为什么会提示错误呢？我打开了我的spark文件夹，找一下这个jar包，发现版本果然有问题于是把中scala.version改为2.11就...
Maven设置指定jar包依赖版本信息
hello_heheha的博客
12-12 8941
我们在配置Spark core 的 maven依赖的时候jackson-module-scala_2.11的版本冲突，解决办法如下： <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</ar...
Spark3.x报错Exception in thread “main“ java.lang.NoSuchFieldError: JAVA_9
qq_32118757的博客
01-31 1294
Spark3.x报错Exception in thread "main" java.lang.NoSuchFieldError: JAVA_9
Spark 开发环境搭建
IT晓白
11-14 371
1.创建maven工程 创建project--Java 创建module--maven 2.添加依赖 &lt;dependencies&gt; &lt;!--spark依赖--&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.spark&lt;/groupId&gt; &lt...
三、Spark-Scala测试与开发环境
Allowed47479的博客
07-02 680
Spark开发环境
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值