搭建Spark Standalone集群

最新推荐文章于 2024-05-21 21:41:07 发布
最新推荐文章于 2024-05-21 21:41:07 发布
阅读量870 收藏 3
点赞数 3
文章标签： spark big data hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67806436/article/details/125304271
版权

文章目录

零、学习目标

1.搭建Spark Standalone模式的集群
2.能够启动Spark Standalone模式的集群
3.学会Spark应用程序的提交

Spark的两种集群运行模式：Spark Standalone模式和Spark On
YARN模式。Standalone模式需要启动Spark集群，而Spark On
YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。

一、Spark Standalone架构

  • Spark
    Standalone模式为经典的Master/Slave（主/从）架构，资源调度是Spark自己实现的。在Standalone模式中，根据应用程序提交的方式不同，Driver（主控进程）在集群中的位置也有所不同。应用程序的提交方式主要有两种：client和cluster，默认是client。可以在向Spark集群提交应用程序时使用–deploy-mode参数指定提交方式。

    （一）client提交方式

  • 集群的主节点称为Master节点，在集群启动时会在主节点启动一个名为Master的守护进程，类似YARN集群的ResourceManager；从节点称为Worker节点，在集群启动时会在各个从节点上启动一个名为Worker的守护进程，类似YARN集群的NodeManager。

  • Spark在执行应用程序的过程中会启动Driver和Executor两种JVM进程。

  • Driver为主控进程，负责执行应用程序的main()方法，创建SparkContext对象（负责与Spark集群进行交互），提交Spark作业，并将作业转化为Task（一个作业由多个Task任务组成），然后在各个Executor进程间对Task进行调度和监控。通常用SparkContext代表Driver。在上图的架构中，Spark会在客户端启动一个名为SparkSubmit的进程，Driver程序则运行于该进程。

  • Executor为应用程序运行在Worker节点上的一个进程，由Worker进程启动，负责执行具体的Task，并存储数据在内存或磁盘上。每个应用程序都有各自独立的一个或多个Executor进程。在Spark Standalone模式和Spark on YARN模式中，Executor进程的名称为CoarseGrainedExecutorBackend，类似运行MapReduce程序所产生的YarnChild进程，并且同时与Worker、Driver都有通信。

（二）cluster提交方式

  • Standalone
    cluster提交方式提交应用程序后，客户端仍然会产生一个名为SparkSubmit的进程，但是该进程会在应用程序提交给集群之后就立即退出。当应用程序运行时，Master会在集群中选择一个Worker进程启动一个名为DriverWrapper的子进程，该子进程即为Driver进程，所起的作用相当于YARN集群的ApplicationMaster角色，类似MapReduce程序运行时所产生的MRAppMaster进程。

二、Spark集群拓扑

（一）集群角色分配

  • Spark Standalone模式的集群搭建需要在集群的每个节点都安装Spark，集群角色分配如下表所示。
    在这里插入图片描述

二、搭建三节点集群

（一）在私有云上创建三台虚拟机

  • 创建配置过程，参看本博《在OpenStack私有云上创建与配置虚拟机》

1、登录master虚拟机

  • 单击连接管理器里的master，登录master虚拟机
    在这里插入图片描述
  • 测试能否ping通百度 - www.baidu.com
    在这里插入图片描述

2、登录slave1虚拟机

  • 单击连接管理器里的slave1，登录slave1虚拟机在这里插入图片描述
  • 测试能否ping通百度 - www.baidu.com
    在这里插入图片描述
    3、登录slave2虚拟机
  • 单击连接管理器里的slave2，登录slave2虚拟机
    在这里插入图片描述
  • 测试能否ping通百度 - www.baidu.com

在这里插入图片描述

（二）查看三台虚拟机主机名

  • 查看master虚拟机主机名
    在这里插入图片描述

  • 查看slave1虚拟机主机名
    在这里插入图片描述

  • 查看slave2虚拟机主机名
    在这里插入图片描述

  • 设置主机名命令：hostnamectl set-hostname <主机名>

（四）配置三台虚拟机IP-主机名映射

192.168.1.120 master
192.168.1.121 slave1
192.168.1.122 slave2
  • 在三台虚拟机上安装vim编辑器，执行命令：yum -y install vim

1、配置master虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts
    在这里插入图片描述
  • 查看主机映射配置文件
    在这里插入图片描述

2、配置slave1虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts
    在这里插入图片描述
  • 查看主机映射配置文件
    在这里插入图片描述

3、配置slave2虚拟机IP-主机名映射

  • 执行命令：vim /etc/hosts
    在这里插入图片描述
  • 查看主机映射配置文件
    在这里插入图片描述

（五）关闭与禁用防火墙

1、了解相关命令

（1）关闭防火墙命令

  • systemctl stop firewalld
    （2）禁用防火墙命令
  • systemctl disable firewalld

（3）查看防火墙状态

  • systemctl status firewalld

2、关闭与禁用防火墙

（1）关闭与禁用master虚拟机防火墙

  • 关闭防火墙
    在这里插入图片描述

  • 禁用防火墙
    在这里插入图片描述

  • 查看防火墙状态
    在这里插入图片描述

（2）关闭与禁用slave1虚拟机防火墙

  • 关闭防火墙
    在这里插入图片描述

  • 禁用防火墙
    在这里插入图片描述

  • 查看防火墙状态
    在这里插入图片描述

（3）关闭与禁用slave2虚拟机防火墙

  • 关闭防火墙
    在这里插入图片描述

  • 禁用防火墙
    在这里插入图片描述

  • 查看防火墙状态
    在这里插入图片描述

（六）关闭SeLinux安全机制

  • 安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是
    Linux 的一个安全子系统。
  • SELinux 主要作用就是最大限度地减小系统中服务进程可访问的资源（最小权限原则）。
  • SELinux 有三种工作模式，分别是enforcing：强制模式；permissive：宽容模式；disabled：关闭
    SELinux。
  • /etc/sysconfig/selinux
    文件里SELINUX=enforcing，将enforcing改成disabled，就可以关闭SeLinux安全机制
    1、在master虚拟机上关闭SeLinux安全机制
  • 执行命令：vim /etc/sysconfig/selinux
    在这里插入图片描述
    2、在slave1虚拟机上关闭SeLinux安全机制
  • 执行命令：vim /etc/sysconfig/selinux
    在这里插入图片描述
    3、在slave2虚拟机上关闭SeLinux安全机制
  • 执行命令：vim /etc/sysconfig/selinux
    在这里插入图片描述

（七）设置三台虚拟机免密登录

1、master虚拟机免密登录master

  • 执行命令：ssh-keygen，生成密钥对
    在这里插入图片描述
  • 执行命令：ssh-copy-id root@master，将公钥拷贝到master
    在这里插入图片描述
  • 测试master节点是否免密登录自己
    在这里插入图片描述
    2、master虚拟机免密登录slave1
  • 执行命令：ssh-copy-id root@slave1，将公钥拷贝到slave1
    在这里插入图片描述
  • 测试master节点是否免密登录slave1
    在这里插入图片描述
    3、master虚拟机免密登录slave2
  • 执行命令：ssh-copy-id root@slave2，将公钥拷贝到slave2
    在这里插入图片描述
  • 测试master节点是否免密登录slave2
    在这里插入图片描述

（八）上传大数据相关软件到虚拟机

  • 在win7虚拟机上查看相关软件
    在这里插入图片描述
  • 上传到master虚拟机/opt目录
    在这里插入图片描述

（九）在三台虚拟机上安装配置JDK

1、在master虚拟机上安装配置JDK

  • 进入/opt目录
    在这里插入图片描述
  • 执行命令：tar -zxvf jdk-8u162-linux-x64.tar.gz -C
    /usr/local，将Java安装包解压到指定目录
    在这里插入图片描述
  • 执行命令：ll /usr/local/jdk1.8.0_162，查看解压之后的jdk1.8.0_162目录
    在这里插入图片描述
  • 执行命令：vim /etc/profile，配置环境变量
    在这里插入图片描述
export JAVA_HOME=/usr/local/jdk1.8.0_162
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  • 存盘退出，执行命令：source /etc/profile，让配置生效
    在这里插入图片描述
  • 查看JDK版本
    在这里插入图片描述
  • 编写一个Java程序 - HelloWorld.java
    在这里插入图片描述
  • 存盘退出后，执行命令：javac HelloWorld.java，编译成字节码文件
    在这里插入图片描述
  • 执行命令：java HelloWorld
    在这里插入图片描述
    2、将master虚拟机上安装的JDK分发到slave1和slave2虚拟机
  • 执行命令：scp -r J A V A H O M E r o o t @ s l a v e 1 : JAVA_HOME root@slave1: JAVAH​OMEroot@slave1:JAVA_HOME (-r recursive - 递归)
    在这里插入图片描述
  • 在slave1虚拟机上查看JDK是否拷贝成功
    在这里插入图片描述
  • 执行命令：scp -r J A V A H O M E r o o t @ s l a v e 2 : JAVA_HOME root@slave2: JAVAH​OMEroot@slave2:JAVA_HOME (-r recursive - 递归)
    在这里插入图片描述
  • 在slave2虚拟机上查看JDK是否拷贝成功
    在这里插入图片描述
    3、将master虚拟机上环境配置文件分发到slave1和slave2虚拟机
  • 执行命令：scp /etc/profile root@slave1:/etc
    在这里插入图片描述
  • 执行命令：scp /etc/profile root@slave2:/etc
    在这里插入图片描述
  • 在slave1与slave2节点上执行命令：source /etc/profile，让环境配置生效
    在这里插入图片描述
    在这里插入图片描述
xizaizhao
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark 运行架构
翁老师的教学团队
05-25 530
Spark 运行架构 运行架构 Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。 Driver 表示 master，负责管理整个集群中的作业任务调度。 Executor 则是 slave，负责实际执行任务。 核心组件 Spark 框架有两个核心组件： Driver Executor Driver Spark 驱动器节点，用于执行 Spark 任务中的 main 方法，负责实际代码的执行工作。 Driver 在Spark 作业执行时主要负责： 将
Spark 基本架构及运行原理
热门推荐
12-08 3万+
Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Mesos等资源管理框架。 与Hadoop MapReduce计算框架相比，Spark所采用的Executor有两个优点：一是利用多线程来执行具体的任务（Hadoop MapReduce采用的是进程模型），减少任务的启动
Spark搭建 Standalone模式详细步骤
最新发布
weixin_52134189的博客
05-21 1530
Spark搭建 Standalone模式详细步骤
2.3 Spark运行架构与原理
zl202111的博客
06-11 1470
Spark有多种运行模式，可以运行在一台机器上，称为本地（单机）模式，也可以以YARN或Mesos作为底层资源调度系统以分布式的方式在集群中运行，称为Spark On YARN模式，还可以使用Spark自带的资源调度系统，称为Spark Standalone模式。Driver进程向Cluster Manager申请资源，Cluster Manager接收到Application的注册请求后，会使用自己的资源调度算法，在Spark集群的Worker节点上，通知Worker为应用启动多个Executor。
Spark集群安装部署
momo898821的博客
03-25 1263
Spark安装部署
搭建Spark Standalone模式的集群
xue1100的博客
03-04 187
一 利用SecureCRT登录三台虚拟机 对master slave1 slave2执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件并添加两个域名服务器（右击对话框选择chat windows,在次点击send chat all sessions可以在对话框内输入的内容同时写到多个虚拟机上面） 执行命令：yum -y install vim 安装vim 测试maser slave1 slave2能否链接外网 查看master sl..
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍  Spark是基于内存计算的大数据并行计算框架，...
spark 分布式集群搭建
06-12
Spark standalone 分布式集群搭建,Spark standalone运行模式,Spark Standalone运行架构解析---Spark基本工作流程,Spark Standalone运行架构解析---Spark local cluster模式
使用docker快速搭建Spark集群的方法教程
01-20
下面来一起看看使用docker快速搭建Spark集群的方法教程。 适用人群 正在使用spark的开发者 正在学习docker或者spark的开发者 准备工作 安装docker (可选)下载java和spark with hadoop Spark集群 Spark运行时架构...
Spark实验：Standalone模式安装部署（带答案）1
08-03
1. 实验描述：本实验旨在搭建一个基于Standalone模式的Spark集群，包括解压安装包、配置环境变量、启动集群及验证安装效果。 2. 实验环境：使用3台虚拟机，操作系统为Centos 7.5，Hadoop版本为2.7.3，Spark版本为...
spark最新集群搭建指南2017
08-03
总结以上，搭建Spark集群涉及下载和安装Spark，配置环境，选择运行模式，以及实现高可用性。SparkSQL的集成使得Spark能更好地处理结构化数据，而其在大数据处理上的优势也使得它成为许多大数据项目中的首选工具。在...
第5章 运行架构设计
wyz191的专栏
09-01 2436
整体感觉这章没有讲太多东西 运行架构关注的是系统如何运行，是同步还是异步，是并发还是串行，关注运行中的各个对象如何交互，状态如何转换，关注那些安全必性、可靠性、可伸缩性等质量要求，以及响应时间、吞吐量等性能要求。 运行架构关注的不再是全局，而是局部，是系统中那些关键点与难点。 1、如何开展对非功能需求的分析与设计？ 答：采用“属性à场景à决策”的过程，一步一步进行架构设计。 （1）属性：就是整个系统应当遵循的质量属性。譬如，整个系统应当达到的安全性、可靠性，应当达到多少秒内的响应时间，以及多大的高
Spark 架构及运行流程
weixin_47243236的博客
12-09 4456
1. Spark 架构 Spark 遵循主从架构，即集群中由一个主服务器和若干个从服务器组成。 Spark 架构基于两个抽象： RDD：弹性分布式数据集 DAG：有向无环图 1.1 Spark 运行架构 Spark 运行架构中包括： 集群资源管理器（Cluster Manager） Spark 驱动节点（Driver） 若干个工作节点（Worker Node） 1.2 Spark 组件 ???? Application： Spark Application 包含了一个 Driver 及多个 Exe
Spark运行架构
Faith_xzc
08-12 1002
运行架构 Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。 如下图所示，它展示了一个 Spark 执行时的基本结构。图形中的Driver 表示master，负责管理整个集群中的作业任务调度。图形中的Executor 则是 slave，负责实际执行任务。 核心组件 Driver介绍 Spark 驱动器节点，用于执行 Spark 任务中的 main 方法，负责实际代码的执行工作。 Driver 在Spark 作业执行时主要负责： 将用户程序转化为作业（job）
Spark集群环境搭建（standalone模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4547
大数据实验教学系统Spark集群环境搭建（standalone模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。安装和配置Spark环境（standalone模式）   掌握Spark集群的启动和关闭。1、在master主节点上安装和配置Spark环境   2、将配置好的Spark文件夹拷贝到三个worker节点上   3、掌握Spark集群的启动和关闭   4、测试Spark集群安装是否成功。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2
了解Spark运行架构与原理
2301_78090711的博客
03-04 1681
了解Spark架构 了解Spark作业运行流程 了解Spark核心数据集RDD 了解Spark核心原理
spark standalone集群搭建
03-16
Spark Standalone集群搭建步骤如下： 1. 安装Java环境和Spark软件包； 2. 配置Spark的环境变量； 3. 配置Spark的主节点和从节点； 4. 启动Spark集群； 5. 验证Spark集群是否正常工作。 具体步骤可以参考Spark官方文档或者相关教程。在搭建过程中，需要注意配置文件的正确性和网络连接的稳定性，以确保集群的正常运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值