【SPARK本地WIndows运行词云】贵州大学SPark初级编程本地运行词云。

1、前置

前提本地hadoop、java、spark都安装好。
1、winutils.exe复制到hadoop安装目录下的bin目录里面；并将hadoop.dll文件复制到c:\windows\system32
2、建立pycharm文件，把词云代码敲进去：

iimport logging
import os
from pyspark import SparkContext
//本地词云文件存放位置
test_file_name="C://Users//一han啊//Desktop//作业//大数据技术与应用//pythonProject//WordCount.txt"
sc=SparkContext("local","WordCountPyDemo")
text_file=sc.textFile(test_file_name)
counts=text_file.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a+b).foreach(print)
sc.stop

3、在插件下载页面把py4j和pyspark下载。
4、修改项目的运行的环境变量：
5、点击edit configureations，点击Environment variables右端小图标:添加两个环境变量
其中PYTHONPATH是你的spark路径下的python文件夹，SPARKHOMME是你的spark路径

运行报错：

错误原因：python版本过高。
解决方法：降低python版本到3.7；这应该是pyspark支持的问题。
Python下载网址：下载python-3.7.0
下载完后更新pycharm运营Python为3.7.0版本，具体步骤：

1、插件下载页面点击点击Python，点击shouall后点击+号进去到添加python解释器页面，点击System interperter：

2、点击右边三个点进去添加页面、浏览到你刚才安装的Python3.7.0,，选择python.exe，点击ok一路返回到插件下载，把刚才的py4j和pyspark下回去。

3、进去前面的edit configuration界面，选择Python3.7.0,并应用:

4、点击运行。报新的错误：

解决方法：
进去电脑设计–高级设置–环境变量设置，添加蓝色的环境变量：变量名：PYSPARK_PYTHON
值：你刚才安装python3.7.0路径里面的那个python.exe，添加完环境变量后重启电脑（重点）。

重置后重新运行，成功：

修改前：python3.9+hadoop2.7+spark2.5.1
修改后：python3.7+hadoop2.7+spark2.5.1