qq_49247395的博客

idea中调试spark报错：Exception in thread “main” java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps; 在网上找了很多方法，原因是spark与scala版本不对，之前在global library中有两个sdk，去掉一个sdk就行，或者选择一个适合spark版本的sdk,我这里的spark版本是2.4.7,s

记录一下编写spark遇到的坑 IDEA安装详见 安装IDEA 安装scala 这里有个坑，spark目前不支持2.13版本，所以我安装的是2.11版本的 scala下载 IDEA中编写scala代码 新建maven project 这是maven工程的结构，在scala目录下新建一个scala类（即object），现在就能写scala程序了 重点是pom.xml添加spark依赖 这是我的pom.xml <?xml version="1.0" encoding="UTF-8"?> <