scala:spark版本导致的错误

最新推荐文章于 2024-05-03 13:10:58 发布
最新推荐文章于 2024-05-03 13:10:58 发布
阅读量322 收藏
点赞数
分类专栏： scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaozhaoshigedasb/article/details/90287279
版权

在这里插入图片描述
笔者用的是1.6的老版本spark，在本地环境用的是2.11.8来完成代码编译，但是提交到集群跑的时候，报了上图的错。
查了一下，1.6的spark默认是用2.10的scala来编译的，而我本地用的是2.11，所以就出现了如上错误。
解决也很简单，将本地的scala环境换成scala2.10的就完事了。

在这里插入图片描述

乖乖猪001
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Scala与Spark的环境搭建版本匹配问题(学习笔记)
04-18
最新版本的scala-2.11.8与Spark2.1.0环境搭建
Spark2.1.1<scala版本不兼容问题>
Gpwner的博客
06-14 8270
今天在拆分以下数据集的时候area,perimeter,compactness,lengthOfKernel,widthOfKernel,asymmetryCoefficient,lengthOfKernelGroove 15.26,14.84,0.871,5.763,3.312,2.221,5.22 14.88,14.57,0.8811,5.554,3.333,1.018,4.956 14.29,
Spark大数据技术（Scala）小白教程（一)——大数据技术概述以及环境配置_spark scala教程
最新发布
2401_84182936的博客
05-03 578
Apache Spark 是一个基于内存计算的大数据处理框架，提供了高性能和灵活性，支持多种数据处理模式。Spark 提供了丰富的 API，包括 Spark Core、Spark SQL、Spark Streaming、MLlib（机器学习库）和 GraphX（图计算库），使得用户可以方便地进行数据处理、数据分析和机器学习等任务。
Spark记录-Scala异常与处理
weixin_30555515的博客
10-25 320
Scala try-catch语句 Scala提供try和catch块来处理异常。try块用于包含可疑代码。catch块用于处理try块中发生的异常。可以根据需要在程序中有任意数量的try...catch块。 Scala try catch示例1 在下面的程序中，我们将可疑代码封装在try块中。 在try块之后使用了一个catch处理程序来捕获异常。如果发生任何异常，catch处理程序将处理...
Scala快速入门(适用于学习Spark)
qq_40078490的博客
02-09 6502
Scala介绍 Scala是一种针对JVM 将面向函数和面向对象技术组合在一起的编程语言。Scala编程语言近来抓住了很多开发者的眼球。它看起来像是一种纯粹的面向对象编程语言，而又无缝地结合了命令式和函数式的编程风格。Scala融汇了许多前所未有的特性，让开发者能够很好的而同时又运行于JVM之上。随着大数据的日益发展，scala必定会成为必不可少的开发语言。
spark与scala的对应版本查看
Knight
11-15 1794
https://mvnrepository.com/artifact/org.apache.spark/spark-core 总结
Jupyter notebook运行Spark+Scala教程
08-19
在 Jupyter Notebook 中使用 Spark+Scala 时，也需要注意版本问题，因为不同的版本可能会导致错误。例如，在使用 Scala 2.11.8 版本时，需要使用相应的 Spark 版本，以便确保正确地运行 Spark 代码。 本教程提供了...
详解如何使用Spark和Scala分析Apache访问日志
08-25
可以使用Spark的filter方法来统计Apache日志中404的行数，并且可以深入挖掘哪些URL是有问题的，例如URL中有空格等导致404错误。 知识点： 1. 安装Spark和Scala的过程 2. 使用Scala编写Apache访问日志分析器 3. ...
scala plugins 2018.3.5版本
12-20
不兼容的插件版本可能会导致IDEA运行不稳定，出现错误提示或者缺失功能。因此，在下载和安装时，用户需要确认自己的IDE版本，并选择对应的Scala插件，以确保最佳的开发体验。 在提供的压缩包文件列表中，我们看到几...
kotlin-spark-api：该项目提供Kotlin绑定和Apache Spark的一些扩展。 我们希望将其作为Apache Spark 3.x的一部分
02-03
2. **类型安全**：Kotlin的强类型系统确保了空安全，避免了因意外的null值导致的运行时错误。在处理大数据时，这种安全性尤为重要，因为它可以减少潜在的错误来源，提高代码的可靠性。 3. **扩展函数**：Kotlin的...
信标：信标画廊-Scala库照亮
02-04
4. **版本控制**：包管理器有助于管理不同库的版本，避免因版本冲突导致的问题。 5. **持续集成**：与持续集成工具集成，自动执行构建和测试，确保代码质量和稳定性。 **Scala生态系统** Scala的库涵盖了各种领域...
基于spark 程序用scala统计淘宝商品数据分析
db_yxy_2036的博客
11-09 1115
从Spark的上手到最后的项目，整个过程我一路磕磕绊绊的时常遇到一些奇怪的问题，但是好在本人寻找bug的能力还不错，都一一得到了解决，后半期学习结束了，但我还需要继续花时间去学习，尤其是Hadoop的知识点，结合两者的实际应用去体会不同。三、导入要使用到的依赖包，有两个依赖包，一个是saprk_lib的 依赖包，这个的作用可以让创建spark这个配置对象idea可以调用，第二个依赖包是scala-2.11.12，这个依赖包可以让你使用scala语言的时候可以识别出来，里面封装了很多的java的包。
spark和scala环境安装与部署（超详细版），我保证你敢看，你就学会了
2301_80975885的博客
03-08 5643
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；
spark 与 scala 版本对应
qq_38261075的博客
08-05 3889
spark 与 scala 版本对应
SCALA_IDE开发Spark程序
sundujing的博客
05-06 9819
IDEA Eclipse 下载scala 下载地址 scala.msi scala环境变量配置 （1）设置SCALA-HOME变量：如图，单击新建，在变量名一栏输入： SCALA-HOME 变量值一栏输入： D:\Program Files\scala 也就是scala的安装目录，根据个人情况有所不同，如果安装在E盘，将“D”改成“E”即可。
关于Spark 和 scala 版本冲突的问题
Jason不在家的博客
12-06 1万+
Spark 和Scala 版本冲突问题
如何查看spark版本和scala版本
热门推荐
happyfreeangel的博客
11-21 4万+
1.进入命令行状态 windows 电脑 方法一： 在系统桌面左下侧搜索栏输入CMD或者命令提示符，右键点击命令提示符在右键菜单中点击：以管理员身份运行，可以打开系统【管理员命令提示符】窗口。 苹果电脑: 打开终端 在 Mac 上打开 Finder 窗口，然后在「应用程序」目录中直接搜索“终端”关键字，也可以搜索到； 2.在命令行窗口输入,然后回车 java -version,确认你的java...
Spark本地开发环境scala版本
baifanwudi的专栏
11-01 1509
SBT-Scala 参考上篇http://blog.csdn.net/baifanwudi/article/details/78354339 配置hadoop环境变量 新建SBT项目sbt配置name := "SparkScalaTest"version := "1.0"scalaVersion := "2.11.8"libraryDependencies += "org.apache.s
Exception in thread "main" java.lang.RuntimeException: java.lang.NoSuchFieldException: DEFAULT_TINY_CACHE_SIZE at org.apache.spark.network.util.NettyUtils.getPrivateStaticField(NettyUtils.java:131) at org.apache.spark.network.util.NettyUtils.createPooledByteBufAllocator(NettyUtils.java:118) at org.apache.spark.network.server.TransportServer.init(TransportServer.java:95) at org.apache.spark.network.server.TransportServer.<init>(TransportServer.java:74) at org.apache.spark.network.TransportContext.createServer(TransportContext.java:114) at org.apache.spark.rpc.netty.NettyRpcEnv.startServer(NettyRpcEnv.scala:118) at org.apache.spark.rpc.netty.NettyRpcEnvFactory$$anonfun$4.apply(NettyRpcEnv.scala:454) at org.apache.spark.rpc.netty.NettyRpcEnvFactory$$anonfun$4.apply(NettyRpcEnv.scala:453) at org.apache.spark.util.Utils$$anonfun$startServiceOnPort$1.apply$mcVI$sp(Utils.scala:2237) at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:160) at org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:2229) at org.apache.spark.rpc.netty.NettyRpcEnvFactory.create(NettyRpcEnv.scala:458) at org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:56) at org.apache.spark.SparkEnv$.create(SparkEnv.scala:246) at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175) at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:257) at org.apache.spark.SparkContext.<init>(SparkContext.scala:432) at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2509) at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:909) at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:901) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:901) at com.cssl.scala720.KafkaSparkStreamingHBase$.main(KafkaSparkStreamingHBase.scala:28) at com.cssl.scala720.KafkaSparkStreamingHBase.main(KafkaSparkStreamingHBase.scala) Caused by: java.lang.NoSuchFieldException: DEFAULT_TINY_CACHE_SIZE at java.lang.Class.getDeclaredField(Class.java:2070) at org.apache.spark.network.util.NettyUtils.getPrivateStaticField(NettyUtils.java:127) ... 23 more Process finished with exit code 1
07-24
如果你的代码是基于较新版本的Spark编写的，但是你使用的Spark版本较旧，可能会导致找不到字段的错误。尝试升级或降级你的Spark版本，以匹配代码的要求。 2. 检查你的代码中是否存在对DEFAULT_TINY_CACHE_SIZE字段...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值