【转】 五步完成pyspark：连接spark集群Windows环境搭建

原文链接：https://blog.csdn.net/qq_23860475/article/details/90476197

1.软件

1、anaconda（python3.6）

2、spark-2.4.3-bin-hadoop2.7（spark版本要和集群上的一样）

3、JDK1.8

2.python环境配置

pip install pyspark

这里如果遇到安装超时的情况采用以下命令

pip --default-timeout=100 install pyspark 

或

pip --default-timeout=100 install -U pyspark

没有py4j也得装下

pip install py4j
 

3.spark环境配置

1、下载。spark下载地址：http://spark.apache.org/downloads.html

2、解压。下载好后解压 ，注意安装路径不能有空格。

3、配置环境变量。添加环境变量SPARK_HOME=spark安装路径（比如我的是D:\Application\spark-2.4.3-bin-hadoop2.7），在Path中添加%SPARK_HOME%\bin