win7 环境整合pycharm+spark

最新推荐文章于 2023-03-28 23:01:02 发布

zb1051986605

最新推荐文章于 2023-03-28 23:01:02 发布

阅读量736

点赞数 1

分类专栏： python

本文链接：https://blog.csdn.net/zb1051986605/article/details/54409976

版权

python 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文介绍了如何在Windows 7环境下整合PyCharm与Spark，通过提供下载链接指引获取PyCharm，并详细说明了配置运行环境的具体步骤，包括编辑配置设置以添加必要的属性。

摘要由CSDN通过智能技术生成

安装 py4j

首先在wim上打开dos窗口（win键+r 输入cmd）
输入指令： pip install py4j

然后再PYTHON_HOME\Lib\site-packages （你的python）目录创建文件 pyspark.pth

打开pyspark.pth内容为：
SPARK_HOME\python (你的spark安装目录)

(下载地址 pycharm ---- http://www.jetbrains.com/pycharm/download)

配置pycharm

RUN----》Edit Config..

然后添加属性：

----------测试一把------------------

"""SimpleApp"""
from pyspark import SparkContext



logFile =  'D:\\spark\\README.md'  
sc = SparkContext("local","Simple App")
logData = sc.textFile(logFile).cache()

numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()

print("Lines with a: %i, lines with b: %i"%(numAs, numBs))

测试通过！