java1.8首先要安装好,然后去下载spark和scala。版本对应问题一定要注意!!!总而言之就是安装包下载好,然后bin目录添加到环境变量里,就大功告成了~
java==1.8 scala==2.11.8 spark==3.0.1 # 注意这里没有安装过hadoop哦
spark网站下载
https://www.apache.org/dyn/closer.lua/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz
scala网站下载
https://www.scala-lang.org/download/2.11.8.html
查看java安装的目录和版本
py37 ❯ where java
/usr/bin/java
py37 ❯ java -version
java version "1.8.0_261"
Java(TM) SE Runtime Environment (build 1.8.0_261-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode)
上面两个下载都安装完成后,解压,移动到/usr/local目录下
配置环境变量
命令行输入:vim ~/.bash_profile进行编辑,增加环境变量:
export SPARK_HOME=/usr/local/spark-3.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
#使环境变量生效,在命令行执行
source ~/.bash_profile
生效以后,执行
py37 ❯ pip install pyspark
终端输入pyspark验证一下
可以再验证一下scala的安装情况
这个错误
因为没有配置$JAVA_HOME所以才会报错。
解决办法就是在/etc/profile 中设置一下。
因为我的java是直接用idea中的button安装的,所以还要回idea中查看java的安装路径。
export JAVA_HOME=/Library/Jav....(省略)/Contents/Home
export PATH=$JAVA_HOME/bin:$PATH
scala安装遇到的问题:[ERROR] Failed to construct terminal; falling back to unsupported java.lang.NumberForma...
https://blog.csdn.net/weixin_30678821/article/details/97638582
最后原因版本匹配问题,安装scala2.11.8完美解决。
最后的最后
启动pyspark有一条warn。。。不过我们也没有安装过hadoop,所以报这个warn是情理之中吧,不影响本地环境使用。看了看要解决这个warn就要去下载hadoop。
WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
解决方案