连接spark集群Windows环境搭建

1.软件
1、anaconda（python3.6）

2、spark-2.4.3-bin-hadoop2.7（spark版本要和集群上的一样）

3、JDK1.8

2.python环境配置
pip install pyspark

这里如果遇到安装超时的情况采用以下命令

pip --default-timeout=100 install pyspark

或

pip --default-timeout=100 install -U pyspark

没有py4j也得装下

pip install py4j