在Windows中安装PySpark环境

在Windows中安装PySpark环境

安装Python

可以选择安装官方版本的Python，或是Anaconda，对应的地址如下。

• 下载地址
  Python：https://www.python.org/
  Anaconda： https://www.anaconda.com/download/#windows
  MiniConda：https://docs.conda.io/en/latest/miniconda.html

安装Java运行环境

安装Java运行环境

• 下载地址
  在线安装包： https://www.java.com/en/download/
  离线安装包：https://www.java.com/zh-CN/download/windows_offline.jsp

下载Spark和winutils工具

由于Hadoop开发是针对类Unix系统的，所以在Windows平台中没有原生的Hadoop安装包，但可以通过winutils工具作为替代。

• spark下载地址: http://spark.apache.org/downloads.html

• winutils下载地址: https://github.com/steveloughran/winutils

解压spark，将winutils拷贝到解压目录的bin目录下，如下所示。