初次在mac上安装spark,遇到的坑详细记录下。
首先我下载的是spark-3.0.0-preview2-bin-hadoop2.7,scala版本是2.13.0的,安装完成运行程序,出现下面错误:
Exception in thread “main” java.lang.NoSuchMethodError: scala.util.matching.Regex.(Ljava/lang/String;Lscala/collection/Seq;)V
查网上资料,是scala版本引起的。
spark-3.0.0-preview2对应的scala版本是2.12.10,于是又重新下载安装,然后运行程序,显示已经进入spark那长串红色显示,心里有点小激动,可是最后还是出现下错误:
dyld: lazy symbol binding failed: Symbol not found: ____chkstk_darwin
Referenced from: /private/var/folders/91/6g1y3wp163jbr7tgdrqgkjg80000gn/T/liblz4-java-8731604412047028366.dylib
Expected in: /usr/lib/libSystem.B.dylib
dyld: Symbol not found: ____chkstk_darwin
Referenced from: /private/var/folders/91/6g1y3wp163jbr7tgdrqgkjg80000gn/T/liblz4-java-8731604412047028366.dylib
Expected in: /usr/lib/libSystem.B.dylib
于是又查半天,有可能是mac版本与spark版本冲突,于是又重新下载spark,版本是2.4.4,对应的scala是2.11.12.
全部重新安装好后,运行程序,终于没有错误啦!