第一步下载安装包
spark安装包:http://mirrors.hust.edu.cn/apache/spark/
下载好后将安装包放在没有空格的目录中
第二步配置环境
找到环境变量
进去后点击+号,添加环境的变量
SPARK_HOME 你所安装spark的目录
PYTHONPATH 这个python位置在你spark目录下
随后点击 Apply ->OK
第三步
添加pyspark需要的根文件
py4j.zip, pyspark.zip文件
py4j涉及到底层以后讨论
点击File->Settings->Project Structure->Add Contect Root
两个文件位置在上述python目录下的lib目录
-> Apply ->OK
第四步 测试
简单的WordCount
代码如下
from pyspark import SparkCon