背景:
用pycharm建立pyspark应用程序时,需要先下载安装pyspark包,一般网络好时可以用File-->Settings-->Project:xxx-->Project Interpreter-->点击“+”-->搜索pyspark-->Install Package来安装pyspark
但是,为了让网络不好的同学也能愉快的体验pyspark编程的乐趣,特别写这篇博客
步骤:
1.下载spark安装包到windows
下载地址:http://archive.apache.org/dist/spark/spark-2.3.2/
解压安装包
进入pyspark包所在路径:spark-2.3.2-bin-hadoop2.7\python\lib
或者网盘下载:pyspark依赖包下载 提取码:m3t0
2.pycharm 新建python工程
File-->New Project-->Pure Python-->选择对应的目录及工程名,这里工程名为pyspark-test-->Create
右键工程pyspark-test-->New-->Python File
填写文件名为demo-->点击OK,这样新建出了demo.py
编辑demo.py,内容如下
from pyspark import SparkContext
sc = SparkContext()
data = [1, 2, 3, 4, 5]
# 根据已存在的集合创建RDD
rdd = sc.parallelize(data)
# 收集并打印RDD内容
print(rdd.collect())
还有箭头指出的报错,因为缺少pyspark包
下面一步是重点,添加第一步下载的两个zip包
3.添加本地pyspark zip包
File-->Settings-->Project:xxx-->Project Structure-->点击“+”-->找到zip包的位置-->按ctrl键选中两个zip包-->OK-->OK
添加zip包后,在pyspark-test下能看到添加的zip包,同时代码中的报错消失了
4.运行程序
在运行之前,需要先设置SPARK_HOME,设置方法为:Run-->Edit Configurations-->demo(要运行的文件名)-->点击Environment variables右侧的文件夹-->点击“+”-->Name填写:SPARK_HOME --> Value填写spark安装包解压后的目录,这里是D:\soft\spark\spark-2.3.2-bin-hadoop2.7-->OK-->OK
查看运行结果
完成! enjoy it!