pycharm pyspark 配置

2019独角兽企业重金招聘Python工程师标准>>>

1 、安装了pycharm，下载spark（官网下载，我下的是spark-2.1.1-bin-hadoop2.7.tgz，解压缩后为文件夹spark-2.1.1-bin-hadoop2.7，我将文件放在了/Applications/spark/下，这个文件夹里面有python文件，python文件下还有两个压缩包py4j-some-version.zip和pyspark.zip，之后会用到）

2、随便打开一个project，pycharm右上角“run”三角形的左边有一个run configurition，打开它。

3、设置configurition---Environment--- Environment variables ---点击“...”，出现框框，点击+，输入两个name，一个是SPARK_HOME，另外一个是PYTHONPATH，设置它们的values，SPARK_HOME的value是安装文件夹spark-2.1.1-bin-hadoop2.7的绝对路径，PYTHONPATH的value是该绝对路径／python，例如我的SPARK_HOME的value是/Applications/spark/spark-2.1.1-bin-hadoop2.7，那么我的PYTHONPATH的value是/Applications/spark/spark-2.1.1-bin-hadoop2.7/python 。设置好了保存。（注意不管是路径的哪里，都不能有空格！）

4、关键的一步，很多网页上都只有到第3步，这样引入spark的包还是有红线。在perferences中的project structure中点击右边的“add  content root”，添加py4j-some-version.zip和pyspark.zip的路径（这两个文件都在Spark中的python文件夹下）

5、完成，from pyspark import SparkContext，红线消失，运行正常。

转载于:https://my.oschina.net/u/2000675/blog/1809786