spark开发环境——本地安装spark2.x及启动

利用python开发spark项目需要在本地安装spark

一 本地安装

1.下载http://spark.apache.org/downloads.html

选择适合本机的hadoop版本，点击链接下载

2.点击链接完成下载

3. 解压文件

4.配置环境变量

新增SPARK_HOME=D:\spark\spark-2.2.0-bin-hadoop2.6 

在系统变量Path中追加 %SPARK_HOME%/bin;

二 在本地启动spark

1.在cmd中输入D:\spark\hadoop-2.6.5\bin\winutils.exe chmod 777 D:\tmp\hive（需要先新建一个文件夹D:\tmp\hive）

2.运行spark-shell。注意不要在C盘，因为spark-shell运行会产生一些临时文件，在D盘spark中新建一个spark-shell文件，从cmd中进入此文件夹后再运行spark-shell即可。

3.进入spark-shell后输入spark.conf.get("spark.sql.catalogImplementation")，然后即可在交互环境下进行代码测试。

sparkshell文件夹中会出现