Spark Sprak 与 Scala 搭建

前提

        以下将用到Xftp7 或Xshell 7 二选一即可,且设置网关。且在完全分布式下，三节点

一. 启动虚拟机的网络

        打开网络设置，选择网络适配器

        

        启用VMnet8 与 VMnet1 

        更改虚拟机网关，打开VM 选择编辑--网络编辑器

        选择VMnet8 更改设置

        

        选择VMnet8把子网改成更192.168.88.0

二.启用Xftp7 或Xshell 7 二选一即可

        打开虚拟机查看ip 用 命令 inconfig 或 ip a 都可

        记住ip地址 打开Xftp7 或xshell 都可 这里演示用Xshell7

连接

一.scala 安装 

        上传安装包

        

        查看是否上传到虚拟机 用 ls 查看

        可以看到已经上传

        解压 scala 这里解压到opt 下

        编辑环境 vim /etc/profile 将下面添加到末尾 ---注意自己的路径，第一行为文件所在路径(为自己解压到的路径)

第二行为全局变量

        source /etc/profile 让刚刚编写的文件生效

        验证版本是否存在 存在后启动 

scala -version 查看版本 版本存在即安装成功 然后scala启动

：quit 推出加冒号

二.spark安装

        解压安装 配置环境 解压到opt 下 （注意路径）

  进入opt改sprak文件夹名为了方便

cd  /opt/

cd 回来

        配置环境 vim /etc/profile 将下面写入末端

        source /etc/profile 让刚刚编写的文件生效

        进入spark文件中修改配置文件

        先备份文件

        配置spark-env.sh文件

        备份文件

        配置文件 slaves 从节点ip 修改为 

        分发文件 将spark文件发到从节点

在slave1 和slave2 上配置环境

vim /etc/profile 

   source /etc/profile 让刚刚编写的文件生效

启动集群

先启动hadoop集群 三节点都启动

然后启动spark集群 只在master启动

查看jps

在主节点master上出现Master 在s1上出现Worker在s2上出现Worker

最后查看是否安装成功

spark-shell