pycharm运行第一个pyspark程序

一、环境搭建

1、windows下spark环境搭建；

2、python3.7安装并配置环境变量；3.7以上版本在后期运行时容易出现问题；

3、pycharm对应python文件配置PYTHONPATH;

二、pycharm运行一个pyspark程序

1、先在cmd中使用pip安装pyspark和findspark，方便导入调用

pip install pyspark

pip install findspark

2、项目结构

3、pycharm的python环境配置

4、代码

from pyspark import SparkConf
from pyspark import SparkContext

import findspark

findspark.init()
conf=SparkConf().setAppName("pysparkTest").setMaster("lo