背景
默认python项目已经导入idea,Mac本地已经安装好python。
步骤
1、Mac本地安装pyspark
brew install pandoc ##不可以用root安装,而且安装很慢;建议下载Mac安装包手动安装 http://johnmacfarlane.net/pandoc/installing.html
pip install pyspark==2.1.2 --user -U ##指定好版本,spark2.1.0用pyspark==2.1.2版本,需要加上;--user -U 基于用户的权限来安装模块包,不然会有权限问题
2、Mac本地安装spark-2.1.0
从官网下载 https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz 解压放到指定的目录,在~/.bash_profile文件中配置环境变量
3、Intellij IDEA配置pyspark
添加两个环境变量:
变量名:PYTHONPATH,变量值:/usr/local/spark/spark-2.1.0-bin-hadoop2.7/python
变量名:SPARK_HOME,变量值: /usr/local/spark/spark-2.1.0-bin-hadoop2.7
4、Intellij IDEA关联pyspark源码
file->project structure->modules,点击加号:
选择第一个JARs or directories,找到PYTHONPATH下的lib文件夹,C:\spark\spark-2.1.0-bin-hadoop2.7\python\lib,直接添加进来即可,弹出的窗口选择Jar Directory。
至此便可以用intellij idea运行测试pyspark程序了。