一般,我都会在Eclipse中安装Scala插件,用Scala语言编写Spark程序,之后将程序导出为JAR文件,再复制到Spark平台上运行,因为XX原因,现在想尝试用python写Spark程序,于是在Windows+Pycharm的环境下搭建了相应的开发环境
首先,安装py4j(虽然其实我并不知道这是个什么东东,但是,因为没有安装它搞得一直出问题,所以啊。。。谨慎。。)
本来我最开始是打算这样安装py4j的
不过很可惜,安装不了,后来我直接这样了
结果就好了。。。
接着只要稍微配置下PyCharm就行了
找到python安装目录,之后找到site-packages文件夹,一般是这种路径:Python_Home\lib\site-packages,在该目录下新建pyspark.pth文件,像这样
pyspark.pth的内容为:
Spark安装目录\python\
重新打开PyCharm就搞定了,我之前没有重新打开,结果一直就显示不行