pycharam + spark整合

1.下载pycharm 

2.安装python(linux,mac一般都有python2.7,3.5)略

3.安装spark 环境,不是重点略.

4.安装pip
curl -O https://bootstrap.pypa.io/get-pip.py
 
使用Python安装pip(升级pip install --upgrade pip [如需要 sudo]

python get-pip.py

pip 安装模块 pin install 模块名
pip freeze

5.安装spark 需要的py4j

pip install py4j

6.项目导入SPARK_HOME下python目录pyspark.zip,及py4j.zip

项目--->File--->setting-->project interceptor -->最有边 绿色+ (加号)添加第三方模块

注:如遇到无法安装(一般是权限),可以使用sudo  pip(对应python 版本,pip -V查看)  模块名

7.配置SPARK_HOME,PYTHON_HOME
a)创建python文件,然后进行配置上述两个变量

右上角(对应python文件)-->edit configuration-->Enviroment Variable

改行最有边(三个...)点击,添加key,value(上述两个变量)