大数据与云计算 |（1）Spark Standalone模式集群搭建实践

 

课程原地址：http://hbust.shiyanbar.com/course/91079

上课老师：李歆

实验时间：20180531

地点：云桌面

实验人：郭畅

 

实验目的

1) 熟悉spark集群搭建

2) 熟悉standalone运行模式

 

实验原理

spark基于standalone集群搭建，standalone是主从结构，分master,worker;app作业

首先，简单说明下Master、Worker、Application三种角色。

Application：带有自己需要的mem和cpu资源量，会在master里排队，最后被分发到worker上执行。app的启动是去各个worker遍历，获取可用的cpu，然后去各个worker launch executor。

Worker：每台slave起一个(也可以起多个)，默认或被设置cpu和mem数，并在内存里做加减维护资源剩余量。Worker同时负责拉起本地的executor backend，即执行进程。

Master：接受Worker、app的注册，为app执行资源分配。Master和Worker本质上都是一个带Actor的进程

实验环境

jdk1.7.0_79+ scala-2.11.4+spark-1.6.1-bin-hadoop2.4

所需软件包都在/simple/soft目录下

 

实验步骤

一、Spark安装准备

1.1 解压安装包。在命令终端切换到/simple目录下，分别执行如下命令：

 

tar –zxvf  /simple/soft/scala-2.11.4.tgz

tar –zxvf /simple/soft/spark-1.6.1-bin-hadoop2.4.tgz

解压后如下图1所示：

图1

1.2 环境变量配置。在任意目录下执行命令：vim /etc/profile编辑配置文件。如图2所示。要配置的参数由红框选中的内容。

 

图2

1.3 环境变量配置文件生效，执行命令：source /etc/profile。如图3所示

 

图3

 

1.4 查看本机IP，在任意目录下执行命令：ifconfig查看网卡信息。,如下图4所示，红色标记的为本节点ip。

 

图4

二、spark集群配置

2.1 切换至spark安装目录下的conf文件并执行命令:ls查看所有配置文件，并执行复制文件spark-env.sh.template和slaves.template命令生成spark-env.sh和slaves文件。如图5所示

 

图5

2.2 配置spark-env.sh。在conf目录下执行命令：vim spark-env.sh并编辑其中内容(IP以实际主机IP为准)，如图6所示

 

图6

2.3 配置slaves。在conf目录下执行命令：vim slaves并编辑其中内容，输入内容spark02。如图7所示 注:主机名随实际情况而定

 

图7

2.4 启动集群，首先切换到目录：cd /simple/spark-1.6.1-bin-hadoop2.4/sbin

执行启动脚本：./start-all.sh并查看spark进程。如图8所示

 

图8

  2.5 集群启动是否成功，启动浏览器并输入地址(主机名以实际虚拟机主机名为主)，如图9所示，显示部署成功。

   

图9