一、环境搭建
2、python3.7安装并配置环境变量;3.7以上版本在后期运行时容易出现问题;
3、pycharm对应python文件配置PYTHONPATH;
二、pycharm运行一个pyspark程序
1、先在cmd中使用pip安装pyspark和findspark,方便导入调用
pip install pyspark
pip install findspark
2、项目结构
3、pycharm的python环境配置
4、代码
from pyspark import SparkConf
from pyspark import SparkContext
import findspark
findspark.init()
conf=SparkConf().setAppName("pysparkTest").setMaster("lo