linux 环境下 python的安装及pyspark 的环境变量配置

在linux环境下安装 python时，要安装相关的依赖，具体如，这里假设的环境是centos 或是 redhat

-安装devtoolset

    #yum groupinstall "Development tools"

-安装编译Python时需要的相关依赖

    #yum install zlib-devel bzip2-devel openssl-devel sqlite-devel

-解压源码包

    $tar -zxv Python-*.*.*.tar.gz

-编译及安装

    #cd Python-*.*.*

    #./configure --prefix=/usr/local

    #make && make install

 

假设spark 安装在/opt的目录下

export  SPARK_HOME=/opt/spark-2.2.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH

尤其要注意最后一句的配置，如果没有话，当 python 执行 from pyspark import SparkConf,SparkContext 会报找不到 pyspark 模块的错误