原来,自己的项目一直都是在Linux的上面维护的,可是最近由于要进行项目的变更,说白了,自己想要在win的环境下编译spark程序,上面一篇文章有介绍spark的项目在win上面安装的过程,此时,我们来介绍一下我们所踩过的坑。
例如spark1.6.0是基于scala2.10.x的,如果用intellj创建基于scala2.11.x的项目,打包出来的jar包,用spark-submit运行spark任务时,会遇到NoSuchMethodError:scala.Predef$.ArrowAssoc异常
以为我的项目是采用的基于IDEA的pom
前面所说的spark1.6.0是基于scala2.10.x,则我们有理由相信spark的版本为1.6.1,所以才会导致报错,当我把配置文件改为了1.6.0,在运行,就好了