基于CentOS7的Anaconda和PySpark的安装

安装Anaconda

下载Anaconda

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.1.0-Linux-x86_64.sh

安装

sudo bash Anaconda3-5.1.0-Linux-x86_64.sh

步骤

1. 第一次会提示 Please, press ENTER to continue

   按enter进入下一步

2. 第二次会提示 Do you accept the license terms? [yes|no]

   填yes

3. 第三次会提示[/root/anaconda3] >>>

   填 /data/anaconda[你自己定义的位置] 或者不填默认

4. 第四次提示Do you wish the installer to prepend the Anaconda3 install location
   to PATH in your /root/.bashrc ? [yes|no]
   填yes 把安装目录填到环境变量中

5. 后面的可以选着no

检验

source ~/.bashrc
conda -V

输出 
conda 4.4.10
则成功

使用

直接输入python
若成功 则会出现
Python 3.6.4 |Anaconda, Inc.| (default, Jan 16 2018, 18:10:19) 
[GCC 7.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.

安装PySpark

更新pip

pip install --upgrade pip

安装

pip install pyspark

检查

spark-shell