Pycharm导入Pyspark模块

最新推荐文章于 2024-08-16 22:52:43 发布

Enche

最新推荐文章于 2024-08-16 22:52:43 发布

阅读量3.7k

点赞数 1

1 前提：已经安装了pycharm，下载了spark（官网下载，我下的是spark-2.1.1-bin-hadoop2.7.tgz，解压缩后为文件夹spark-2.1.1-bin-hadoop2.7，我将文件放在了/Applications/spark/下，这个文件夹里面有python文件，python文件下还有两个压缩包py4j-some-version.zip和pyspark.zip，之后会用到）

2 在网上我搜了很多网页，但是只解决了运行环境的问题，使用pyspark时from pyspark import SparkContext，代码依然划红线，运行依然显示没有该模块。

3 不管对不对，在pycharm上的project interpreter上下载py4j，因为很多博客说pyspark依赖这个模块。

4 随便打开一个project，pycharm右上角“run”三角形的左边有一个run configurition，打开它。

5 设置configurition---Environment--- Environment variables ---点击“...”，出现框框，点击+，输入两个name，一个是SPARK_HOME，另外一个是PYTHONPATH，设置它们的values，SPARK_HOME的value是安装文件夹spark-2.1.1-bin-hadoop2.7的绝对路径，PYTHONPATH的value是该绝对路径／python，例如我的SPARK_HOME的value是/Applications/spark/spark-2.1.1-bin-hadoop2.7，那么我的PYTHONPATH的value是/Applications/spark/spark-2.1.1-bin-hadoop2.7/python 。设置好了保存。（注意不管是路径的哪里，都不能有空格！！尤其是结尾！！今天下午就因为一个空格折磨我好久）

6 关键的一步，还要去配置其他的。很多网页上都只有到第5步。在perferences中的project structure中点击右边的“add content root”，添加py4j-some-version.zip和pyspark.zip的路径（这两个文件都在Spark中的python文件夹下）

7 完成，from pyspark import SparkContext，红线消失，运行正常。