windows系统下pycharm远程访问linux系统下jupyter notebook，并调用spark平台（四）spark平台搭建

三台linux系统机器，分别为192.168.88.177 主机名master，192.168.88.178 主机名slave2,192.168.88.179 主机名slave3

一，Sacla安装

本例下载的是scala2.12.8，将文件放在/opt文件夹下

首先进入/opt文件夹

解压文件

修改环境配置文件

在文件末尾添加：

使环境生效：

检查版本

至此，scala安装完毕

二，基于hadoop的yarn安装spark

本例用的是spark2.4.0-bin-hadoop2.7.tgz，存放在/opt文件夹中

解压文件

修改环境变量文件

修改如下

使环境生效：

进入spark配置目录

复制配置文件

修改配置文件：

在配置文件后面添加：

复制配置文件：

修改配置文件：

修改如下：

复制spark到其他两台机器

首先要启动hadoop，启动后在进入spark启动目录

启动spark

浏览器中输入slave01.example.com:8888 

至此，spark搭建完毕