spark安装文档详解

Spark安装文档

系统环境安装

1. JDK+ 安装

下载java se: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

a.设置 JAVA_HOME 变量

b.设置 Path 变量，添加%JAVA_HOME%\bin;

c.测试jdk是否安装完成

Win + r:cmd

显示如上JDK安装成功。

1. scala安装与配置

scala下载：访问官方地址https://www.scala-lang.org/download/all.html

1. 设置 SCALA_HOME 变量
2. 设置 Path 变量：添加 ;%SCALA_HOME%\bin

 

1. win + r :cmd 测试scala是否安装成功。

1. Spark安装与配置

安装包下载：http://spark.apache.org/downloads.html

解压后配置spark环境。

A．Path: 添加D:\spark\spark-2.1.0-bin-hadoop2.6\bin

B．通过spark-shell2进入Spark的交互式命令行模式：

此时会出现一个hadoop错误，可以忽略，等到hadoop配置完毕既能解决。

1. 安装hadoop

下载地址：http://hadoop.apache.org/releases.html