网址1:http://blog.tomgou.xyz/shi-yong-pycharmpei-zhi-sparkde-pythonkai-fa-huan-jing.html
网址2:http://itgrocery.cn/2017/03/01/%E5%88%A9%E7%94%A8-PyCharm-%E6%90%AD%E5%BB%BA-Spark-%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83/
安装Python和PyCharm
由于我使用的系统是mac OS Serria,它自带了Python环境,所以无需安装,如果使用的Windows开发的同学,可以自行百度安装教程,我之前安装过,应该比较简单。
PyCharm是一款Python开发的IDE,使用过Intelij IDEA的同学应该很容易上手,这两款IDE是一家公司出品的。mac OS和Windows上面的安装都比较简单,下载安装包傻瓜式安装便可。
安装py4j
因为Spark的Python版本的API依赖于py4j,如果不安装运行程序会抛出如下错误。
- 安装pip
因为mac OS和Windows的安装方法各部相同,我只说一下我在mac OS上面安装的过程,因为安装这些目录需要读写系统的目录,所以安装时都需要在安装的命令前加上sudo。 先下载get-pip.py文件,下载的文件在当前shell所在的目录