pyspark安装文档

pyspark环境安装

一、python3环境安装

参考文档：pyspark安装

1、下载安装包
查看windows环境下python环境的版本，然后去官网下载对应的版本，tgz格式

生产环境下的python安装包，tgz格式，底层是C语言，没有编译过的。只能针对当前计算机，不能多台计算机互相拷贝。

https://www.python.org/ftp/python/3.6.4/

也可以使用wget命令接上面的网址直接下载

2、安装python可能用到的依赖：

yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel

3、解压和编译：

#如果遇到：configure: error: no acceptable C compiler found in $PATH
yum install gcc

# 解压到本地路径
tar -zxvf  Python-3.6.4.tgz 
# 进入目录
cd Python-3.6.4
# 编译
./configure --prefix=/opt/software/python364
# 3.7版本以上需要引入一个新的包libffi-devel，安装此包之后再次进行编译安装
yum install libffi-devel -y
# 安装，需要在Python目录中才能安装
make && make install

4、配置python3和pip3的软连接(快捷方式)

ln -s /opt/software/python3/bin/python3 /usr/bin/python3
ln -s /opt/software/python3/bin/pip3 /usr/bin/pip3

二、安装pyspark

1、更换pip源为豆瓣源

[root@single bin]# cd 
[root@single ~]# mkdir .pip/
[root@single ~]# cd .pip/

vi pip.conf
=====================================================
[global]
index-url=https://pypi.douban.com/simple
trusted-host = pypi.douban.com
=====================================================

2、pip安装pyspark

pip3 install pyspark