【CentOS】Spark 运行环境（Local、Standalone）

已于 2022-08-24 17:03:19 修改
阅读量1.1k 收藏 4
点赞数 2
分类专栏： # CentOS 文章标签： spark big data
于 2021-12-28 01:55:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45797116/article/details/122164973
版权

Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下 Spark 的运行（主要是 Local 和 Standalone 两种，yarn之后再介绍）。

在这里插入图片描述

文章目录

一、Local 模式

之前在 IDEA 中运行代码的环境我们称之为开发环境，一直在使用的模式可不是 Local 模式，不太一样。所谓的 Local 模式，就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学，调试，演示等。

1、启动 Local 环境

在具有虚拟机上安装了Spark的基础之上，启动 spark-shell：

首先需要启动spark（开了半天的spark-shell愣是没打开，思前想后spark没启动）😅

启动目录：spark/sbin/
在这里插入图片描述
查看启动进程：jps 出现Worker、Master即可~
在这里插入图片描述
然后进入到spark/bin/目录下启动spark-shell：./spark-shell
在这里插入图片描述
启动spark-shell后，出现如下的应用程序界面就行了。注意：在spark-shell默认的环境中已经创建好了Spark Context 和 Spark Session，并且Spark Context 的默认master就是local[*].
在这里插入图片描述
返回顶部

2、测试

首先在虚拟机的/home/data/spark/目录下准备一份数据，用于展示wordcount案例：
在这里插入图片描述
使用 spark-shell 环境 Local模式 实现编程：
在这里插入图片描述
启动成功后，可以输入网址进行 Web UI 监控页面访问：
在这里插入图片描述
返回顶部

3、提交应用程序（jar包）

File -> Project Structure -> Artifacts，选择添加JAR，选择从已有依赖的模块中…
在这里插入图片描述
添加 jar 包流程：
在这里插入图片描述
将生成的jar复制到虚拟机/home/data/spark/jars/目录下：
在这里插入图片描述
进入到spark/bin/目录执行命令：

./spark-submit --class test01.wordCount.wordCount03 --master local[2] /home/data/spark/jars/spark-core.jar 10

1) --class 表示要执行程序的主类，此处可以更换为自己写的应用程序
2) --master local[2] 部署模式，默认为本地模式，数字表示分配的虚拟 CPU 核数量
3) spark-core.jar 运行的应用类所在的 jar 包，实际使用时，可以设定为自己打的 jar 包
4) 数字 10 表示程序的入口参数，用于设定当前应用的任务数量

在这里插入图片描述
报错了：Exception in thread “main“ java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: sc，查了一下，是因为Ideal中的scala 2.12.x 版本和虚拟机上的scala 2.11.x 版本不匹配。
所以临时改动一下，将Ideal的scala版本换成 2.11.8，同时修改一下pom.xml文件，更改为2.11
在这里插入图片描述
刷新一下maven，重新打个包，运行一下：
在这里插入图片描述
又GG了~😢

许久不碰确实忘了许多细节的地方，又自己看了一下：java.net.URISyntaxException: Relative path in absolute URI: G:%5CProjects%5CIdealProject-C21%5CSpark%5Cspark-core%5Csrc%5Cmain%5Cscala%5Ctest01%5CwordCount%5Cdata一看 G：... 明白了，jar包里的源程序中数据文件的路径没有修改，😏因为是打包到虚拟机中运行，所以它只会总虚拟机的文件系统目录去找文件。所以稍作调整：
在这里插入图片描述
重新打包运行：在这里插入图片描述
Web UI 监控：
在这里插入图片描述
返回顶部

二、Standalone 模式

local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用 Spark 自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark 的 Standalone 模式体现了经典的 master-slave 模式。

集群模式：
在这里插入图片描述

首先 linux 中需要安装有 scala，参见：【Linux】scala安装

1、解压压缩文件

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩在指定位置
在这里插入图片描述
在这里插入图片描述
返回顶部

2、修改配置文件

1) 进入解压缩后路径的 conf 目录，修改 slaves.template 文件名为 slaves ，使其生效

mv slaves.template slaves

在这里插入图片描述

2) 修改 slaves 文件，添加 work 节点

d
linux2
linux3

在这里插入图片描述

3) 修改 spark-env.sh.template 文件名为 spark-env.sh

mv spark-env.sh.template spark-env.sh

在这里插入图片描述

4) 修改 spark-env.sh 文件，添加 JAVA_HOME 环境变量和集群对应的 master 节点

export JAVA_HOME=/home/java/jdk
export SCALA_HOME=/home/scala
SPARK_MASTER_HOST=d
SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=1G
export SPARK_EXECUTOR_CORES=2

注意：7077 端口，相当于 hadoop3 内部通信的 8020 端口，此处的端口需要确认自己的 Hadoop 配置

5）查看主机名是否与slaves配置文件相匹配

hostname  // 查看当前主机名
hostnamectl set-hostname 新的主机名  // 如果主机名与配置文件不相符，使用该命令进行修改

在这里插入图片描述

6）配置映射文件（IP地址与主机名的对应）

vi /etc/hosts

如果要进行这一步，则该配置文件每台机器上都需要进行配置，方便分发的时候直接使用主机名；如果不进行配置，那么分发的时候只能使用IP地址。
在这里插入图片描述
返回顶部

3、分发 spark-standalone 目录

// 配置过映射文件
scp -r /home/spark-standalone linux2:/home
scp -r /home/spark-standalone linux3:/home

// 没有配置过映射文件
scp -r /home/spark-standalone xxx.xxx.xxx.172:/home
scp -r /home/spark-standalone xxx.xxx.xxx.173:/home

在这里插入图片描述
返回顶部

4、启动集群

[root@d ~]# cd /home/spark-standalone/sbin/
[root@d sbin]# ./start-all.sh

如下图所示，集群的启动只需要 Master 主机 d 开启了spark，Worker 从机 linux2、linux3 就会随之启动。
在这里插入图片描述
在这里插入图片描述
查看 Master 资源监控 Web UI 界面

http://d:8080      //WebUI界面网址

在这里插入图片描述

返回顶部

5、测试（提交应用程序jar包）

./spark-submit --class test01.wordCount.wordCount03 --master spark://d:7077 /home/data/spark/jars/spark-core-standalone.jar 10

1) --class 表示要执行程序的主类
2) --master spark://d:7077 独立部署模式，连接到 Spark 集群
3) spark-core.jar 运行类所在的 jar 包
4) 数字 10 表示程序的入口参数，用于设定当前应用的任务数量
在这里插入图片描述
集群运行结果：
在这里插入图片描述
Web UI 资源监视：
在这里插入图片描述

返回顶部

关于 Spank on YARN 模式暂时还未用到，有兴趣的可以参考托马斯先生的【十二】Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式），步骤讲解还是很详细的~😎，冻死了，先撤！✨✨✨

骑着蜗牛ひ追导弹'
关注
专栏目录
spark基于standalone模式集群部署--centos7环境
nzbing的博客
10-06 310
一、前期准备 1、三台虚拟机 2、spark安装包，我的版本spark-3.1.2-bin-hadoop3.2 3、scala环境，我的版本scala-2.11.8 4、jdk,我的版本jdk-8u181 二、操作系统准备 1、先配置一台机器，后续可通过虚拟机克隆来进行操作 2、安装相关命令 yum -y install vim yum -y install net-tools yum -y install tar 3、设置静态ip vim /etc/sysconfig/network-scripts/i
Spark大数据处理讲课笔记2.2 搭建Spark开发环境
howard2005的专栏
03-20 1219
1. Spark开发环境准备工作； 2. 了解Spark的三种部署方式； 3. 搭建Spark单机版环境； 4. 搭建Spark Standalone集群； 5. 体验第一个Spark程序； 6. 在Spark Shell里基本操作； 7. 初识弹性分布式数据集RDD
大数据技术之Spark ——（一）Spark运行模式（local+standalone+yarn）
m0_46615073的博客
08-25 1077
文章目录 前言 一、Spark运行环境 1.1、spark运行环境概述 1.2、local模式 1.2.1、上传spark压缩文件并解压 1.2.2、启动local环境 1.2.3、命令行工具 (wordcount小测试) 1.2.4、提交应用 1.3、Standalone（独立部署模式） 1.3.1、解压缩文件 1.3.2、修改配置文件 1.3.3、启动集群 1.3.4、配置历史服务器 1.4、yarn模式 1.4.2、修改配置文件 1.4.3、启动HDFS和YARN 1
centos上搭建运行spark的环境
王同学Leo的专栏
02-06 1462
Spark、shell、IPython、Python
【Linux】CentOS下安装Spark（standalone模式）
hr786250678的博客
04-30 688
一、JDK的安装 参考：https://blog.csdn.net/hr786250678/article/details/84998895 二、HADOOP的安装 参考：https://blog.csdn.net/hr786250678/article/details/89574478 三、Scala的安装 1 上传压缩包到虚拟机（master，slave1），解压 tar -zx...
基于CentOs的spark安装与配置
最新发布
weixin_72897941的博客
04-03 1155
文件夹，将文件复制一份并重命名为。修改spark-env.sh文件。配置profile文件。3.5 运行Spark。Spark安装与配置。
Spark运行模式 Local、Standalone、Yarn
Faded1573606285的博客
11-03 709
1 Spark安装地址 1．官网地址 http://spark.apache.org/ 2．文档查看地址 https://spark.apache.org/docs/2.1.1/ 3．下载地址 https://spark.apache.org/downloads.html 2 重要角色 2.1 Driver（驱动器） Spark的驱动器是执行开发程序中的main方法的进程。...
CentOS 7 Spark开发单机环境搭建
My鱼缸
07-21 555
本文主要记录大数据开发中Linux CentOS7环境下apache的bin版本（源码编译参见https://blog.csdn.net/t_T_c/article/details/98093324）的Hadoop pseudo-distributed、Yarn、Hive、Spark local环境的搭建，该环境主要用户本地虚拟机测试/练手 > 强烈建议配合官方文档食用，师傅领进门，修行靠...
2022-02-09大数据学习日志——PySpark——Spark快速入门&Standalone集群
tingbaobaoo的博客
02-09 2676
01_Spark 快速入门【Anaconda 软件安装】[掌握] 使用Python编写Spark代码，首先需要安装Python语言包，此时安装Anaconda科学数据分析包。 Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。Anaconda 是跨平台的，有 Windows、MacOS、Linux 版本。 # 下载地址： https://repo.anaconda.com/archive/ # 清华大学开源软件镜像站： https:
Spark3.2.0 Standalone集群模式部署教程
changzhen5616的博客
12-04 2568
Spark3.2.0 在Centos7环境下 Standalone集群模式安装部署教程
spark以standalone集群方式启动
one city one love
04-11 694
折腾了一个下午，终于部署完成了，在这期间遇到几个需要注意的地方，记录下来，以防下次再被坑到1、在配置spark-env的时候需要export java_home 所以需要查找JAVA_HOME ，此处是centos7版本    (1)which java    /usr/bin/java    (2)ls -la /usr/bin/java     /usr/bin/java -> /etc...
在centos7上部署的spark启动文档
sinat_32572601的博客
01-17 729
为了记录已经部署好的spark环境启动过程，进行记录。 1.设置ip地址 sudo ifconfig ens33 192.168.184.2 --master01 sudo ifconfig ens33 192.168.184.3  --slave01 sudo ifconfig ens33 192.168.184.4  --slave02 三台机器关闭防火墙  sudo
Centos搭建spark
爱是与世界平行
06-13 1466
Centos搭建spark一、spark介绍二、spark安装前提三、集群规划四、spark安装五、修改spark环境变量六、修改spark-env.sh七、修改slaves八、将安装包分发给其他节点九、启动spark集群 一、spark介绍 Spark初识 二、spark安装前提 搭建spark环境前，需要搭建的环境有： JDK8 zookeeper hadoop Centos 搭建Hadoo...
【CentOS】安装 Spark 组件（完全分布式）
懂得一千零一种,赋予你失败的方法！
03-19 2690
文章目录1、解压 Spark 安装包2、配置 spark 系统环境3、配置 集群节点4、配置 spark-env.sh5、分发 spark6、spark 集群启动 准备环境： Hadoop 完全分布式集群环境 Scala 安装包：https://www.scala-lang.org/download/all.html Spark 安装包：http://archive.apache.org/dist/spark/ Scala 的安装参见本人博文：【CentOS】scala安装 Spark 基础模式参..
centos安装spark
k393393的博客
06-16 3103
前提 使用的环境是centos7.2,已经安装了jdk 1.8 和hadoop2.7.1，三个服务器节点master，salve1，slave2 1、安装scala 1)下载scala 下载地址 https://www.scala-lang.org/download/ 我这里下载了scale 2.11版本 上传压缩包到centos，然后解压 tar -zxvf scala-2.11.6.tgz ...
spark standalone 安装（手动启动）
mxlmxlmxl33的专栏
08-07 830
spark 采用mapred编程模型，充分利用内存的计算框架。不但可以与h
CentOS7 安装Spark
fangwei1234的博客
04-29 472
CentOS7 安装Spark 准备包：spark-2.3.0-bin-hadoop2.7.tgz 前提：已经安装JDK和Hadoop并且配置了环境变量 tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz -C /home/hadoop/ mv spark-2.3.0-bin-hadoop2.7/ spark tar -zxvf scala-2.12.8.tgz -C /home/hadoop mv scala-2.12.8/ scala 3.环境变量配置 expor
Linux（centos7）部署spark
LLMUZI123456789的博客
04-03 836
Spark部署模式主要有4种：Local模式（单机模式）、Standalone模式（使用Spark自带的简单集群管理器）、Spark On Yarn模式（使用YARN作为集群管理器）和Spark On Mesos模式（使用Mesos作为集群管理器）。下面介绍Local模式（单机模式）、跟Spark On Yarn模式（使用YARN作为集群管理器）的简单部署。spark on local模式以及spark on yarn模式部署完成。选择想要安装的版本下载，然后通过Linux客户端Xshell等上传到主机。
CentOS安装配置Spark
qq_44486439的博客
04-13 784
CentOS安装配置Spark 配置Java环境 详见CentOS安装配置Java 从Apache官网下载spark压缩包 也可以到spark下载页面选择spark的其他版本下载链接 wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-had...
Spark Standalone部署指南： CentOS 7下的配置与操作
"Spark Standalone官方文档翻译，涵盖了Spark单机模式的安装、启动、集群...理解这些知识点对于在CentOS 7环境下部署和管理Spark Standalone集群至关重要。通过合理配置和管理，可以高效地运行和调度Spark应用程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

骑着蜗牛ひ追导弹'

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值