python环境Linux系统是自带的,你可以输入python来查看版本(python2版本),输入python3(python3版本)查看。spark安装前提是要下载压缩包,根据个人需求在官网下载压缩包,放到虚拟机得 /home/用户 目录下(我下的是spark-2.1.1-bin-hadoop2.7.tgz这个包)然后开始解压
tar -xzvf spark-2.1.1-bin-hadoop2.7.tgz
解压完之后,会有一个这样的目录spark-2.1.1-bin-hadoop2.7,感觉很长,可以重命名,命令如下(建议有版本标识):
mv spark-2.1.1-bin-hadoop2.7 spark-2.1
之后配置环境变量
sudo vim /etc/profile
在最后面加上,(注意在这要结合自己的用户名和文件名)
export SPARK_HOME=/home/swt/spark-2.1
export PATH=$SPARK_HOME/bin:$PATH
使环境变量生效
souce /etc/profile
到这就安装完毕了,然后可以验证一下,输入pyspark
swt@ubuntu:~$ pyspark
Python 2.7.12 (default, Nov 12 2018, 14:36:49)
[GCC 5.4.0 20160609] on linux2
Type "help", "copyright", "