spark基于standalone模式集群部署--centos7环境

已于 2023-12-11 16:29:32 修改
阅读量279 收藏
点赞数
分类专栏： Spark 文章标签： spark scala big data
于 2021-10-06 14:38:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nzbing/article/details/120622100
版权
本文详细介绍了在CentOS7环境下，如何进行Spark基于standalone模式的集群部署。包括前期准备（虚拟机、软件版本）、操作系统配置（安装命令、设置静态IP、主机名映射、关闭防火墙、安装JDK、Scala和Spark）、克隆虚拟机以及启动Spark集群的步骤，并提供了验证部署成功的标准。
摘要由CSDN通过智能技术生成

Shuffle

一、前期准备

  • 三台虚拟机
  • spark安装包，我的版本spark-3.1.2-bin-hadoop3.2
  • scala环境，我的版本scala-2.11.8
  • jdk,我的版本jdk-8u181

二、操作系统准备

1、先配置一台机器，后续可通过虚拟机克隆来进行操作
2、安装相关命令

yum -y install vim
yum -y install net-tools
yum -y install tar

3、设置静态ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33
#将BOOTPROTO修改为static
#新增
#IPADDR=192.168.88.136
#NETMASK=255.255.255.0
#GATEWAY=192.168.88.2
#DNS1=192.168.88.2
了解本专栏 订阅专栏 解锁全文 超级会员免费看
我爱夜来香A
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Spark的StandAlone集群模式安装部署
weixin_38097878的博客
05-12 514
StandAlone集群模式的介绍与部署 集群角色介绍 Spark是基于内存计算的大数据并行计算框架，实际中运行计算任务肯定是使用集群模式，那么就需要了解spark自带的standalone集群模式的架构以及它的运行机制 stand alone集群模式使用了分布式计算中的master - slave模型 master是集群中含有master进程的节点 slave是集群中worker节点含有Executor进程 Spark架构图如下： Apache对spark架构的官方描述：http://spark.apa
spark之Standalone模式部署配置详解
08-29
Spark 是一个基于内存的集群计算引擎，它可以在多种模式下运行，包括本地模式、伪分布式模式、集群模式等。在这些模式中，Standalone 模式是 Spark 的自带模式，对于大多数情况来说，Standalone 模式足够了。本文将...
8.1.CentOS7安装Spark安装部署及standalone模式介绍
IT瘾君子的博客
03-01 1453
spark安装部署及standalone模式介绍
spark standalone集群部署
shuest的博客
06-23 432
进入spark安装目录下的conf文件夹 修改配置文件名称 mv slaves.template slaves mv spark-env.sh.template spark-env.sh 修改slave文件，添加work节点： vim slaves 加入： hadoop102 hadoop103 hadoop104 修改spark-env.sh文件，添加如下配置： SPARK_MASTER_HOST=hadoop102 SPARK_MASTER_PORT=7077 分发spar
spark-standalone集群部署
BIGDATA_N1
12-13 1104
spark-standalone集群部署 1 配置jdk环境 2 master节点配置 3 slave节点配置 4 master启动spark-stanalone集群 5 使用spark-submit测试环境
Spark Standalone集群部署
YongYu_IT的专栏
07-12 333
集群管理器 spark集群和Hadoop集群类似，采取主从结构，有两类节点： 集群管理者 Master节点（也叫驱动器（Driver）节点）。Master负责集群资源管理，接收spark job并分布到各个计算节点上进行计算。在集群中起到支配作用。一个集群中，活跃的Master只能有一个（HA部署下，可能有多个在热备）！ 在Spark集群中，Master节点负责执行org.apache.s...
Spark实验：Standalone模式安装部署（带答案）1
08-03
1. 实验描述：本实验旨在搭建一个基于Standalone模式的Spark集群，包括解压安装包、配置环境变量、启动集群及验证安装效果。 2. 实验环境：使用3台虚拟机，操作系统为Centos 7.5，Hadoop版本为2.7.3，Spark版本为...
Spark环境搭建——standalone集群模式
01-07
这篇博客，Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。 文章目录集群角色介绍集群规划修改配置并分发启动和停止查看web界面测试 集群角色介绍  Spark是基于内存计算的大数据并行计算框架，...
spark-2.1.0-bin-without-hadoop.tgz.7z
04-05
此外，还需要设置SPARK_HOME环境变量，并在启动时指定master节点，例如本地模式（`--master local[n]`）、standalone模式（`--master spark://<master_ip>:<port>`）或YARN模式（`--master yarn-client`或`--master ...
Spark的安装（Standalone模式，高可用模式，基于Yarn模式）
01-20
spark的Standalone模式安装  一、安装流程 1、将spark-2.2.0-bin-hadoop2.7.tgz 上传到 /usr/local/spark/ 下，然后解压 2、进入到conf中修改名字 改为 .sh 结尾的 3、编辑 spark-env.sh 4、修改slaves 的...
Spark StandAlone模式集群部署
最新发布
CSDN1csdn1的博客
03-31 211
Anaconda：链接: https://pan.baidu.com/s/1JJKBdfXdkpx-WXkbtpr7GQ 提取码: aa3x。Spark：链接: https://pan.baidu.com/s/1lQ0kfQzzAQkOsOg1DzdFbQ 提取码: sp32。默认端口master我们设置到了8080。如果端口被占用, 会顺延到8081 …直到申请到端口为止。遇到操作时： 是否接受条款：yes => 自定义服务安装目录：/xxx/xxx => 是否初始化：yes。
spark部署standalone集群
踏莎行的博客
05-06 3479
spark官网文档：http://spark.apache.org/docs/latest/spark-standalone.html 环境 linux centos spark-1.3.1-bin-hadoop2.6 jdk1.7 python2.6 可以用tar.gz这种离线包解压后再配置环境变量，修改/etc/profile或者~/.bashrc文件并使用source命令使之生效。（本次仅仅
CentOS环境下配置Spark集群（Hadoop YARN）
Blossom
11-11 873
准备工作 安装SSH Server、配置集群节点间的相互SSH无密码登录 Linux（CentOS6.4）下Hadoop单机/集群的安装和配置 注意：如果需要在Spark集群时，使用hadoop yarn的方式提交任务，则需要在集群中配置完成hadoop（yarn方式），详情见：CentOS6.4环境下Hadoop单机+集群的安装和配置中集群部分。 Spark集群配置环境 Linux主机两...
centos7部署spark
大学生小汪的成长博客
02-08 540
目录 1、检查centos网络是否正常 2、实验下载文件保存目录：/home/wyl/cluster下(自行创建)​ 3、导入.tgz包 4、解压 5、复制并修改slave配置文件 6、复制并修改spark-env配置文件 7、启动spark 8、访问spark集群 9、停止spark 注：下载包地址：http://archive.apache.org/dist/spark/spark-2.1.1/ 本次实验选择的是 1、检查centos网络是否正常 ping www....
部署spark2.2集群(standalone模式)
程序员欣宸的博客
02-04 2953
部署spark2.2集群(standalone模式)
Centos7 搭建单机Spark分布式集群
Yeats_Liao的博客
11-17 1358
Centos7 搭建单机Spark分布式集群
Spark 集群搭建从零开始之3 Spark Standalone集群安装、配置与测试
陈杰
09-19 1018
1、进入pc1的Spark的conf目录，创建或者修改spark-env.sh export JAVA_HOME=/usr/lib/jvm/java-8-oracle export SCALA_HOME=/chenjie/scala-2.10.4 export HADOOP_HOME=/chenjie/hadoop-2.6.5 export HADOOP_CONF_DIR=/chenjie
CentOS7 搭建Spark集群环境
zhouzhiwengang的专栏
07-09 2331
1、服务器配置 IP 地址 主机名称 是否master 192.168.60.204 master 是 192.168.60.205 node1 否 2、安装Scala 从https://www.scala-lang.org/download/下载scala 2.13.8，并安装到/usr/local/scala目录下。执行如下命令： mkd...
contOS7 Spark StandAlone HA 环境搭建
m0_50641264的博客
01-13 844
1.确定环境是否安装好 搭建环境之前先确定自己的环境是否做好 1.jdk 1.8版本 2.HDFS MapReduce Hadoop 3.2.1 + 3.zookeeper 4.python 环境 3.8+ 点击直接查看 1,23,4操作: Hadoop jdk python 环境配置教程. 2.先在spark-env.sh中, 删除: SPARK_MASTER_HOST=node1 原因: 配置文件中固定master是谁, 那么就无法用到zk的动态切换master功能了. 在spark-env.s
spark-standalone模式怎么安装配置
03-28
1. 下载Spark安装包 首先，需要下载Spark的安装包。可以从Spark官网下载，也可以从Apache镜像站下载。 2. 解压安装包 将Spark安装包解压到某个目录下，例如/opt/spark。 3. 配置Spark环境变量 打开.bashrc文件，添加如下内容： export SPARK_HOME=/opt/spark export PATH=$SPARK_HOME/bin:$PATH 4. 配置Spark Standalone模式 在Spark安装目录下，进入conf目录，复制一份模板文件spark-env.sh.template，并将复制出来的文件重命名为spark-env.sh。 在spark-env.sh文件中设置以下变量： export SPARK_MASTER_HOST=<master节点IP地址> export SPARK_MASTER_PORT=<master节点端口，默认为7077> export SPARK_MASTER_WEBUI_PORT=<master节点Web端口，默认为8080> export SPARK_WORKER_CORES=<每个Worker节点的CPU核数，默认为1> export SPARK_WORKER_MEMORY=<每个Worker节点的内存，默认为1g> export SPARK_WORKER_INSTANCES=<Worker节点数量，默认为1> 5. 启动Spark Standalone集群 在Master节点上执行以下命令启动Spark Standalone集群： $SPARK_HOME/sbin/start-master.sh 在Worker节点上执行以下命令启动Worker节点： $SPARK_HOME/sbin/start-worker.sh spark://<master节点IP地址>:<master节点端口> 6. 访问Spark Web界面 在浏览器中访问Master节点的Web界面，地址为http://<master节点IP地址>:<master节点Web端口>，可以查看Spark集群的状态和任务情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我爱夜来香A

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值