Centos7配置pyspark环境

一、安装python（下载Anaconda3版本）

1. 使用wget下载安装包

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.1.0-Linux-x86_64.sh

2.安装（默认安装路径为/root下，可以自行更改）

sudo bash Anaconda3-5.3.1-Linux-x86_64.sh

3.配置环境变量
sudo vi /etc/profile(确保有权限更改此配置文件)
export ANACONDA_HOME=/home/anaconda3
export PATH=$ANACOND{A}_{H}OME/bin:$PATH
注意：如果命令行提示bunzip2: command not found，执行下面命令即可：

yum install -y bzip2

二、安装jdk
1.搜索jdk安装包

yum search java|grep jdk

2.下载JDK1.8（下载之后默认的目录为： /usr/lib/jvm/）

 yum install java-1.8.0-openjdk
 java --version(查看是否安装成功)

三、安装Pyspark

pip install pyspark

四、验证是否成功

spark-shell