课程原地址:http://hbust.shiyanbar.com/course/91079
上课老师:李歆
实验时间:20180531
地点:云桌面
实验人:郭畅
实验目的
1) 熟悉spark集群搭建
2) 熟悉standalone运行模式
实验原理
spark基于standalone集群搭建,standalone是主从结构,分master,worker;app作业
首先,简单说明下Master、Worker、Application三种角色。
Application:带有自己需要的mem和cpu资源量,会在master里排队,最后被分发到worker上执行。app的启动是去各个worker遍历,获取可用的cpu,然后去各个worker launch executor。
Worker:每台slave起一个(也可以起多个),默认或被设置cpu和mem数,并在内存里做加减维护资源剩余量。Worker同时负责拉起本地的executor backend,即执行进程。
Master:接受Worker、app的注册,为app执行资源分配。Master和Worker本质上都是一个带Actor的进程
实验环境
jdk1.7.0_79+ scala-2.11.4+spark-1.6.1-bin-hadoop2.4
所需软件包都在/simple/soft目录下
实验步骤
一、Spark安装准备
1.1 解压安装包。在命令终端切换到/simple目录下,分别执行如下命令:
tar –zxvf /simple/soft/scala-2.11.4.tgz
tar –zxvf /simple/soft/spark-1.6.1-bin-hadoop2.4.tgz
解压后如下图1所示:
图1
1.2 环境变量配置。在任意目录下执行命令:vim /etc/profile编辑配置文件。如图2所示。要配置的参数由红框选中的内容。
图2
1.3 环境变量配置文件生效,执行命令:source /etc/profile。如图3所示
图3
1.4 查看本机IP,在任意目录下执行命令:ifconfig查看网卡信息。,如下图4所示,红色标记的为本节点ip。
图4
二、spark集群配置
2.1 切换至spark安装目录下的conf文件并执行命令:ls查看所有配置文件,并执行复制文件spark-env.sh.template和slaves.template命令生成spark-env.sh和slaves文件。如图5所示
图5
2.2 配置spark-env.sh。在conf目录下执行命令:vim spark-env.sh并编辑其中内容(IP以实际主机IP为准),如图6所示
图6
2.3 配置slaves。在conf目录下执行命令:vim slaves并编辑其中内容,输入内容spark02。如图7所示 注:主机名随实际情况而定
图7
2.4 启动集群,首先切换到目录:cd /simple/spark-1.6.1-bin-hadoop2.4/sbin
执行启动脚本:./start-all.sh并查看spark进程。如图8所示
图8
2.5 集群启动是否成功,启动浏览器并输入地址(主机名以实际虚拟机主机名为主),如图9所示,显示部署成功。
图9