在win上开发scala所遇到的坑

最新推荐文章于 2022-12-12 20:45:17 发布
最新推荐文章于 2022-12-12 20:45:17 发布
阅读量650 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wj123446/article/details/53945958
版权

原来，自己的项目一直都是在Linux的上面维护的，可是最近由于要进行项目的变更，说白了，自己想要在win的环境下编译spark程序，上面一篇文章有介绍spark的项目在win上面安装的过程，此时，我们来介绍一下我们所踩过的坑。

例如spark1.6.0是基于scala2.10.x的，如果用intellj创建基于scala2.11.x的项目，打包出来的jar包，用spark-submit运行spark任务时，会遇到NoSuchMethodError:scala.Predef$.ArrowAssoc异常

以为我的项目是采用的基于IDEA的pom



前面所说的spark1.6.0是基于scala2.10.x,则我们有理由相信spark的版本为1.6.1，所以才会导致报错，当我把配置文件改为了1.6.0，在运行，就好了





蜗牛不爱海绵宝宝
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Jelastic上使用Scala编程Java开发Java
11-22
在Jelastic上使用Scala编程Java开发Java经验技巧共5页.pdf.zip
Scala方法和函数的本质区别——反编译解析
蒋含竹的博客
04-15 3533
文章目录Scala的方法和函数有什么区别——反编译解析1. 方法-解析1.1 普通方法1.2 嵌套方法2. 函数-解析2.1 函数示例2.2 反编译结果2.3 函数反编译解析3. 为什么方法和函数可以相互转换？3.1 方法和函数混用示例3.2 方法与函数转换-解析3.3 混用示例-解析 Scala的方法和函数有什么区别——反编译解析 1. 方法-解析 1.1 普通方法 普通方法，即平常在clas...
查看Linux(Centos)发行版本命令：cat /etc/redhat-release
HaleyTiger的博客
08-30 1297
（1）直接查看版本 [root@localhost user]# cat /etc/redhat-release CentOS Linux release 7.8.2003 (Core) [root@localhost user]# （2）使用工具查看版本 安装lsb_release命令工具： # yum install -y redhat-lsb 执行命令： [root@localhost user]# lsb_release -a ...
Spark基础学习笔记12：Scala类和对象
qq_56244269的博客
06-13 427
目录一、类（一）类的定义（二）类的实例化二、单例对象（一）单例对象概念（二）案例演示三、伴生对象（一）伴生对象概念（二）案例演示四、get和set方法（一）生成原则1、val修饰的属性2、var修饰的属性3、private var修饰的属性4、private[this]修饰的属性（二）案例演示任务1、利用系统自动生成的get和set方法任务2、用户自己编写私有属性的Scala风格的get和set方法任务3、用户自己编写私有属性的Java风格的get和set方法五、构造器（一）主构造器1、构造器参数带val或
Scala语法教程
weixin_51497782的博客
02-17 1856
Scala详细的语法教程，非常细致
Linux安装Scala时遇到的问题
qq_39937778的博客
09-21 1338
Scala安装时遇到的问题 安装完成后运行scala命令出现 cat: /release: 没有那个文件或目录
Scala开发规范_最新版本
08-09
Scala开发规范，根据最新版本的Scala总结得出的开发规范，源于 阿里内部总结
AWScala:在Scala REPL上使用AWS开发工具包
04-27
尽管AWScala对象基本上扩展了适用于Java API的AWS开发工具包，但您可以在Scala REPL或sbt console上以较少的压力使用它们。 支援服务 AWS身份和访问管理（IAM） AWS安全令牌服务（STS） Amazon Elastic Compute ...
使用IDEA开发Scala程序.docx
最新发布
06-05
二、 实验目的 掌握使用IntelliJ IDEA开发Spark应用程序。 三、 实验要求 使用IntelliJ IDEA开发本地Spark应用程序。 部署分布式Spark应用程序
SpringBoot如何使用Scala进行开发的实现
08-25
主要介绍了SpringBoot如何使用Scala进行开发的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
ScalaShade:纠正阴影罐子中的@ScalaSignature批注
04-29
ScalaShade 在对类执行了阴影操作（重命名空间）后，可用于纠正在已编译的Scala类中找到的@ScalaSignature批注的类/ jar重写器。 Scala编译器在某些已编译的类中放置“ ScalaSignature”注释，以使其他运行时类型信息可用于Scala库，而这些信息通常无法在类文件中进行编码。 注释包含一个字符串，该字符串在解码时会产生类型信息。 此类型信息可以包含需要更新以反映着色操作以避免破坏Scala代码的名称空间。 如果您怀疑您可能遇到此问题，则可以通过运行“ scalap”（Scala正常发行版的一部分）并检查输出进行确认。 如果仍然存在对预着色名称空间的引用，则将需要对其进行更正。 当然，您也可以使用“ scalap”来确认ScalaShade已完成其工作。 例子 要更正一个罐子，请使用： java -jar scalashade.jar <inp
Spark 安装与卸载 (windows 10)
人month神话
05-10 8170
文章目录先决条件系统要求安装步骤Java安装步骤：（已安装可跳过）测试Java安装：（已安装可跳过）测试安装结果：从Windows 10系统中卸载Spark：删除系统/用户变量步骤： Apache Spark是一个快速通用的集群计算系统。它提供了Java、Scala、Python和R语言的高级API，拥有优化了的通用图计算引擎。它还拥有丰富的其他高级工具，如：用于SQL和结构化数据处理的Spark SQL 、用于机器学习的MLlib、用于图计算的GraphX、以及用于流式批处理的Spark Streamin
从反编译了解scala的属性重载
weixin_42767147的博客
04-13 371
众所周知的是scala中的成员变量是可以重写的,那么我们不得不思考一下什么样的成员方法是可以重写的 首先我们得明白的是 val var 的区别 1.var 声明的成员变量的引用指向是可以变化的,也就是说他的成员变量所指向的对象是可以变化的 2.val 声明的成员变量的引用指向是不可以变化的,也就是说他的成员变量所指向的对象是不可以变化的 那么我们明白了 var应该没必要重写,只需...
Linux基本命令
m0_64387259的博客
06-17 2061
Linux基本命令
01-47-Scala-入门基础
qq_37171694的博客
12-12 106
scala-01-入门
win10系统安装与卸载软件时，遇到2502，2503问题
qq_45753477的博客
04-05 704
1、安装msi软件时遇到此问题 按住win+x打开以管理员身份运行window powershell 输入msiexec /package "E:\scala-2.13.1.msi"运行安装程序 注意：路径不能有中文字符 2、卸载时遇到此问题 按住ctrl+shift+esc打开资源管理器 切换到详细信息 结束explorer.exe进程 然后点击文件->运行新任务 输入C:\Windows...
Scala 采坑集锦
向阳争渡
05-28 1522
用Scala写Spark，遇到一堆问题，在此记录下 1、cannot resolve reference xxx with such signature 怎么解决 这是因为Scala版本不对。用的是Spark2.1.0，应该对应Scala2.11 以上版本。而项目中，mvn自动选择的是Scala 2.7.0...
配置scala时遇到的问题
stan1111的博客
05-28 630
因为以后实验室做项目需要使用spark，所以先学习scala这门语言。在配置的时候java jdk的版本和scala的版本需要对应。这个在scala的官网上面有说明，个人建议从适配的最低版本开始尝试，我自己才开始使用的是scala-2.10.7+java1.9，因为Java是很久之前安装的就懒得去换了。我试了好几个scala的版本才运行成功。。。 ...
Scala学习笔记-初识函数式编程
JiajunBernoulli的博客
07-25 288
文章目录前言函数声明scala源码反编译后的java代码变量声明scala源码反编译后的ava代码函数引用scala源码反编译后的ava代码 前言 本文记录了初学Scala代码笔记以及反编译的java代码以供加深对scala代码运行过程的理解。 函数声明 scala源码 object ScalaFunction1 { def main(args:Array[String]):Unit={ ...
在linux上安装scala
03-16
在Linux上安装Scala可以按照以下步骤进行： 1. 下载Scala安装包，可以从官网下载：https://www.scala-lang.org/download/ 2. 解压安装包，可以使用命令：tar -zxvf scala-x.x.x.tgz 3. 将解压后的文件夹移动到指定目录，例如/usr/local/scala 4. 配置环境变量，可以在/etc/profile文件中添加以下内容： export SCALA_HOME=/usr/local/scala export PATH=$PATH:$SCALA_HOME/bin 5. 保存文件并执行命令：source /etc/profile 6. 验证安装是否成功，可以执行命令：scala -version 如果显示出Scala的版本信息，则表示安装成功。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值