PySpark环境安装

1. JAVA 8 安装

2. Spark http://spark.apache.org/downloads.html，解压到指定目录

   安装
   1.下载的spark直接解压就完成了安装，Windows 用户如果把spark安装到带有空格的路径下，可能会遇到一些问题。所以需要把spark安装到不带空格的路径下，比如C:\spark 这样的目录中。
   2.Spark由于是使用Scala语言编写，因此需要安装对应版本的JDK包才能正常使用。JDK同样安装到不带空格的路径下。
   3.Spark启动时需要根据HADOOP_HOME找到winutils.exe，因此需要下载对应版本的环境。

3.下载winutils的windows版本
https://github.com/rucyang/hadoop.dll-and-winutils.exe-for-hadoop2.7.3-on-windows_X64
解压到指定目录
配置环境变量增加用户变量HADOOP_HOME，指向文件解压的目录，然后在系统变量path里增加%HADOOP_HOME%\bin 即可。

4. pip install pyspark

(base) C:\Windows\system32>pyspark
Python 3.7.1 (default, Dec 10 2018, 22:54:23) [MSC v.1915 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type “help”, “copyright”, “credits” or “license” for more information.
Setting default log level to “WARN”.
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Welcome to
____ __
/ / ___ / /
\ / _ / _ `/ __/ '/
/ / ._/_,// //_\ version 2.4.0
//

Using Python version 3.7.1 (default, Dec 10 2018 22:54:23)
SparkSession available as ‘spark’.