Spark学习笔记(2)——Spark运行环境部署

已于 2023-05-25 10:17:33 修改
阅读量2.9k 收藏 8
点赞数 1
分类专栏： # Spark学习笔记 文章标签： spark 大数据 hadoop yarn
于 2021-07-28 15:59:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56602092/article/details/119176917
版权

本系列文章内容全部来自尚硅谷教学视频，仅作为个人的学习笔记

Spark只是一个数据处理框架和计算引擎，它必须要在一个特定的环境中才能运行。常用的运行环境有如下三种

一、开发环境

当我们在idea中开发时，只需要在maven中引入spark的相关依赖，就可以编写运行调试spark代码了
如下，在Maven项目中引入Spark3.0的spark-core依赖，2.12对应的Scala版本

<dependencies>
 <dependency>
 <groupId>org.apache.spark</groupId>
 <artifactId>spark-core_2.12</artifactId>
 <version>3.0.0</version>
 </dependency>
</dependencies>

二、本地环境（Local模式）

Local模式是指不需要任何其它节点资源就可以在本地执行Spark代码的环境，不需要额外的进程进行资源管理，所有程序都运行在本地的一个进程环境中（如jvm)，使用多线程来模拟集群，一般用于教学，调试，演示等。在 IDEA 中运行代码的环境我们称之为开发环境，不太一样。

如果要在本地终端中运行spark项目，则需在本地机器中下载Spark 下载地址
例如下载spark-3.1.3-bin-hadoop3.2.tgz（表示的是基于3.2版本的Hadoop编译的spark，如果要用到Hadoop的组件的话则需安装3.2版本的Hadoop）
下载spark然后解压到任意位置，将其bin目录配置到环境变量，然后在终端中使用spark-shell命令即可启动local环境，或者直接使用spark-submit提交运行spark项目的jar包

spark-submit --master local[*] testSpark-1.0-SNAPSHOT.jar

在这里插入图片描述

参考文章：Spark部署模式（一）——Local模式

三、集群环境

Local模式是在本地使用多线程模拟集群的环境，我们实际运行spark项目时通常都是在真实的集群环境中运行。

首先要准备一个服务器集群，并确保集群节点之间能够互相免密登录，每个节点上都安装了jdk

1. 部署Standalone模式

Standalone模式是Spark自带的一种集群模式，使用了分布式计算中的master-slave模型对集群资源进行管理和调度

master是集群中含有Master进程的节点
slave是集群中含有Executor进程的Worker节点

主节点Master：管理整个集群资源，接收提交应用，分配资源给每个应用，运行Task任务
从节点Worker：管理每个机器的资源，分配对应的资源来运行Task；
在这里插入图片描述
将spark-3.1.3-bin-hadoop3.2.tgz解压到一个节点，先在此节点上完成如下配置

设置master节点：

进入spark的conf 目录，修改 spark-env.sh.template 文件名为 spark-env.sh

mv spark-env.sh.template spark-env.sh

修改 spark-env.sh 文件，添加 JAVA_HOME 环境变量和集群对应的 master 节点

export JAVA_HOME=/opt/module/jdk1.8.0_144
SPARK_MASTER_HOST=linux1
SPARK_MASTER_PORT=7077

设置worker节点：

在conf目录中修改 slaves.template 文件名为 slaves

mv slaves.template slaves

修改 slaves 文件，添加 work 节点（linuxi为hosts文件中配置的集群中每个节点ip的映射名称）

linux1
linux2
linux3

最后将spark文件夹分发到每个集群节点的相同位置（使用scp或rsync命令）。这样就完成了spark的集群部署

启动集群：在集群任意节点的spark的sbin目录下执行脚本命令start-all.sh就能直接启动所有节点的spark，然后就可以使用bin目录下的spark-submit命令提交任务到集群运行了

配置高可用(HA)
所谓的高可用是因为当前集群中的 Master 节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个 Master 节点，一旦处于活动状态的 Master发生故障时，由备用 Master 提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper 设置

2. 部署Yarn模式

独立部署（Standalone）模式由 Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是你也要记住，Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，并且Spark通常要依赖外部的分布式文件系统作为数据源，比如Hadoop系统的HDFS。所以Spark还是和其他专业的资源调度框架集成会更靠谱一些。所以接下来我们来学习在强大的 Yarn 环境下 Spark 是如何工作的（其实是因为在国内工作中，Yarn 使用的非常多）。
在这里插入图片描述
HDFS和Yarn都是Hadoop中的组件，因此我们还需要在集群中安装对应3.2版本的Hadoop 下载地址

（1）配置hadoop

假设有hadoop102，hadoop103，hadoop104三台机器构成的集群，要按照如下规划进行部署
在这里插入图片描述

先将hadoop-3.2.4.tar.gz解压到一个节点，先在此节点上完成如下配置。在hadoop安装目录下的etc/hadoop目录下修改core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml，workers

核心配置文件core-site.xml：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定HDFS的NameNode 的地址 -->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop102:8020</value>
 </property>
 <!-- 指定 hadoop 数据的存储目录 -->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/module/hadoop-3.2.4/data</value>
 </property>
 <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
 <property>
 <name>hadoop.http.staticuser.user</name>
 <value>atguigu</value>
 </property>
</configuration>

HDFS 配置文件hdfs-site.xml：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- HDFS的namenode数据存储地址-->
	<property>
    	<name>dfs.namenode.name.dir</name>
        <value>file:/data/hadoop/dfs/name</value>
	</property>
	<!-- HDFS的datanode数据存储地址-->
	<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data/hadoop/dfs/data</value>
	</property>
<!-- nn web 端访问地址-->
<property>
 <name>dfs.namenode.http-address</name>
 <value>hadoop102:9870</value>
 </property>
<!-- 2nn web 端访问地址-->
 <property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop104:9868</value>
 </property>
</configuration>

YARN 配置文件yarn-site.xml：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <!-- 指定 MR 走 shuffle -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定 ResourceManager 的地址-->
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>hadoop103</value>
 </property>
 <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认
是 true -->
<property>
 <name>yarn.nodemanager.pmem-check-enabled</name>
 <value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认
是 true -->
<property>
 <name>yarn.nodemanager.vmem-check-enabled</name>
 <value>false</value>
</property>
 <!-- 环境变量的继承 3.1以上版本不需要配置-->
 <property>
 <name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
 </property>
</configuration>

根据集群情况调优yarn可使用资源

 <!-- 单个container可申请的最多物理内存量，默认是8192（MB）
             对于spark一个executor就是一个container-->
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>10240</value>
        </property>

        <property>
                <name>yarn.nodemanager.resource.cpu-vcores</name>
                <value>30</value>
        </property>
        <property>
                <name>yarn.scheduler.minimum-allocation-vcores</name>
                <value>3</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-vcores</name>
                <value>6</value>
        </property>

        <!-- 每个yarn node节点可使用内存 -->
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>57344</value>
        </property>
        <!-- 单个container最小内存 -->
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>1024</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>57344</value>
        </property>

yarn配置调优参考：

  1. yarn-site.xml 基本配置参考
  2. https://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

MapReduce 配置文件mapred-site.xml：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

集群节点配置文件workers：

hadoop102
hadoop103
hadoop104

hadoop环境变量文件hadoop_env.sh
指定hadoop用户，我这里是root，在hadoop_env.sh中添加：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

上述六个文件配置完成后将hadoop安装文件夹分发到集群每个节点的相同位置。这样就完成了hadoop的集群部署

启动yarn集群：
如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode

hdfs namenode -format

然后启动 HDFS。（若报错找不到JAVA_HOME，参考：解决）

sbin/start-dfs.sh

最后在在配置了 ResourceManager 的节点（hadoop103）启动 YARN

sbin/start-yarn.sh
（2）配置spark

将spark-3.1.3-bin-hadoop3.2.tgz解压到一个节点，先在此节点上完成如下配置
修改 conf/spark-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144
YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop

将spark文件夹分发到每个集群节点的相同位置

就可以直接将任务提交到yarn集群上去运行了

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar
(3) 配置命令的环境变量

配置命令的环境变量使得在任意路径下都可以直接使用hadoop或spark的命令。
在/etc/profile中配置对所有用户生效，在~/.bashrc中配置只对当前用户生效，根据自己的需要添加配置

export HADOOP_HOME=/home/syc/hadoop-3.2.2
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export SPARK_HOME=/home/syc/spark-3.2.3-bin-hadoop3.2
export SPARK_CONF_DI=$SPARK_HOME/conf
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9-src.zip:$PYTHONPATH
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$SPARK_HOME/python:$PATH

参考资料：
1.What is the difference between Spark Standalone, YARN and local mode?

程光CS
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Python学习笔记——大数据之Spark简介与环境搭建
01-27
Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是负责大数据计算的工作。包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。 核心组件如下： SparkCore：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的。 SparkSQL：提
Spark Local环境部署
m0_73905064的博客
01-09 917
功能功能提供一个python提供一个scala提交java\scala\python代码到spark中运行解释器环境用来以python代码执行spark程序提供一个python解释器环境用来以scala代码执行spark程序提供一个scala提供一个scala特点解释器环境 写一行执行一行解释器环境 写一行执行一行提交代码用使用场景测试\学习\写一行执行一行\用来验证代码等测试\学习\写一行执行一行\用来验证代码等正式场合, 正式提交spark程序运行。
本地环境下运行Spark程序
最新发布
鬓戈
03-14 607
spark 大数据
Spark安装部署 ——一篇文章轻松学会三种Spark运行环境的搭建
春和的博客
05-20 1384
所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境 Spark的Standalone模式体现了经典的master-slave模式。 yarn模式就是将spark计算所需要的资源等的调度工作交由Yarn
spark学习笔记一
01-20
一.spark与hadoop比较 Spark是一个计算框架相当于Hadoop的MapReduce。Hadoop中是包含计算框架MapReduce和分布式文件系统HDFS，更广泛的讲是还包含其生态系统上的其他系统比如Hbase和Hive等。 Spark相比MapReduce的优点： 1.中间结果的输出 （1）MapReduce的话计算结果会产生很多stage，并且会依赖底层HDFS文件系统来存储每个stage的结果，这样会产生很大的开销。 （2）Spark的话采用延迟计算的策略将任务抽象成有向无环图（DAG）,多个stage串行或者并行计算无需将stage中间结果输出到HDFS而是将中间结果缓存
Python学习笔记——大数据之SPARK核心
02-24
本文来自于csdn，文章讲解RDD的特点，RDD操作函数相关，穿插案例辣酱得段子，带大家理解MapReduce，通过哈姆雷特单词分析案例进行深度剖析。RDD（ResilientDistributedDatasets弹性分布式数据集），是spark中最重要的概念，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中），RDD混合了各种计算模型，使得Spark可以应用于各种大数据处理场景当然，RDD肯定不会这么简单，它的功能还包括容错、集合内的数据可以并行处理等。RDD可以cache到内存中，每次对RDD数据集的操作之后的结果
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 4万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
Spark的部署与使用
theVicTory的博客
09-01 2111
本文主要对Spark及其组成结构进行了简要介绍，然后记录了采用独立集群模式、yarn集群对Spark进行部署对过程
spark的安装与部署
weixin_65195823的博客
06-28 7551
为了避免MapReduce框架中多次读写磁盘带来的消耗，以及更充分地利用内存，加州大学伯克利分校的AMP Lab提出了一种新的、开源的、类Hadoop MapReduce的内存编程模型Spark。一、spark是什么？Spark是一个基于内存的大数据并行处理框架，其最初由加州大学伯克利分校的AMP Lab研发，现已成为Apache软件基金会的顶级项目之一。Spark不仅提供了可扩展、高容错、高性能的分布式数据处理，还提供了内存级的数据处理。
Spark集群安装部署
MJK祺的博客
05-18 1614
由于Spark仅仅是一种计算机框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS，HBase等组件负责数据的存储管理，Spark负责数据计算。本文章主要阐述在Standalone模式下，Spark集群的安装和配置。Yarn模式不需要启动spark集群，只需要启动hadoop集群即可，在启动hadoop集群之前，需要在yarn-site.xml文件关闭内存检查，否则在测试官方案例时可能会报错。至此，Spark集群配置就完成了。
Spark部署详细教程
aj_shang的博客
03-01 1360
部署Standalone模式下的spark及访问web管理页面失败问题
【Spark】Spark必不可少的多种集群环境搭建方法
关于我转生变成程序猿这档事
04-06 344
目录Local模式运行环境搭建小知识搭建步骤一、上传压缩包并解压二、修改Spark配置文件三、启动验证进入Spark-shell四、运行Spark自带的测试jar包standAlone模式运行环境搭建搭建步骤一、修改配置文件三、将配置好的安装包分发到其他机器四、启动Spark程序五、页面访问六、进入Spark-shell测试启动七、运行Spark自带的测试jar包HA模式运行环境搭建搭建步骤一、停...
【spark】spark的三种常用运行环境：Local，Standalone，Yarn
weixin_44441131的博客
07-16 1629
Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行,在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。spark提供了基于不同环境下的部署模式，本篇针对常用的部署和运行模式，简单做一下总结。...
Spark分布式集群环境搭建
BoSea
09-17 4万+
一、平台环境 虚拟机：VMware Workstation Pro 64位 操作系统：Ubuntu16.04 64位 二、 软件包 Jdk-8u171-linux-x64.tar(java version 1.8.0_171) Hadoop 2.9.1.tar Scala-2.11.6 Spark-2.3.1-bin-hadoop2.7 三、Spark分布式集群环境搭建过程0. 准备工作 首先...
搭建Spark开发环境
weixin_64272885的博客
05-18 1274
由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境。
Spark运行环境搭建
weixin_52112640的博客
06-07 2399
（2）启动Local环境 进入解压缩后的路径，执行一下命令
Spark环境搭建安装及配置详细步骤（保姆教程）
m0_67144365的博客
05-11 1万+
Spark环境搭建安装及配置详细步骤
01-Spark环境部署
clear-ninghongkang的博客
08-13 1010
​ **client模式适用于测试调试程序。**Driver进程是在客户端启动的，这里的客户端指的是提交应用程序的当前节点。在Driver端可以看到 task执行的情况​ **生成环境中不能使用client模式。**因为：假设要提交100个application 到集群运行，Driver每次都会在 client端启动，那么就会导致客户端100网卡流量暴增的问题。
Spark本地环境搭建（local模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4404
大数据实验教学系统Spark本地环境搭建（local模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。了解Spark不同安装包之间的区别   安装和配置Spark环境（本地模式）   测试Spark安装是否成功。1、安装和配置Spark环境（本地模式）   2、测试Spark。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3   在本实验环境中，Spark安装包位于以下位置：/data/software/sp
spark学习笔记(1)——spark概述
06-28
### 回答1： Spark是一个开源的大数据处理框架，它提供了高效的数据处理能力和易用的API，支持多种数据处理模式，包括批处理、流处理和机器学习等。Spark的核心是分布式计算引擎，它可以在集群中运行，利用多台计算机的计算能力来处理大规模数据。Spark的优势在于其高效的内存计算和强大的数据处理能力，可以在处理大规模数据时提供更快的计算速度和更高的性能。Spark的生态系统也非常丰富，包括Spark SQL、Spark Streaming、MLlib和GraphX等组件，可以满足不同的数据处理需求。 ### 回答2： Spark是一种大规模数据处理引擎，可以较快地处理大数据。Spark并不是单独的一种工具，而是一系列的工具和库的整合。它具备高效的内存计算功能，能够在数秒或数分钟内完成数据处理任务。 Spark的核心是分布式计算引擎，通过将数据分成多个部分进行处理，缩短了计算时间。Spark基于RDD（弹性分布式数据集）进行数据处理，RDD是一种可缓存、可重用和容错的数据结构。RDD抽象了数据分布和分区，提供了简单的API。 Spark的架构包括四个组件：Driver、Cluster manager、Worker、和 Executor。其中Driver是Spark应用程序的主程序，Cluster manager通过Master节点来管理各个Worker节点，Worker节点包含了整个Spark集群的计算资源，Executor执行计算任务。 Spark支持多种编程语言，包括Scala、Java、Python和R。其中Scala是Spark的主要语言，因为它能够将Spark的API最大程度地利用。 除了分布式计算引擎外，Spark还提供了多种库和工具，包括Spark SQL、Spark Streaming、MLlib和GraphX。Spark SQL是一种用于结构化数据处理的库，能够使用SQL语句进行数据查询；Spark Streaming可以实时处理数据流，包括文本和图像等；MLlib是实现了多种机器学习算法的库，包括分类、回归、聚类和协同过滤；GraphX可以用于图计算和图分析领域。 总之，Spark是一种强大的大数据处理引擎，能够通过分布式计算架构实现快速的数据处理。它提供了多种语言支持和众多的库和工具，方便用户处理各类数据。 ### 回答3： Spark是一款开源的、分布式的大数据处理框架，它的出现将大数据处理的速度提升到了一个全新的水平。Spark的特点在于它的内存计算引擎，这使得Spark的运行速度比传统的MapReduce处理速度要快很多，同时也比传统的Hadoop更加灵活。 Spark可以用于处理各种大数据应用场景，包括批处理、交互式查询、实时流处理等等。同时，Spark的生态系统非常丰富，有众多的开源库和工具可以使用，例如：Spark SQL、Spark Streaming、GraphX、MLlib等等。 Spark的运行环境需要一个集群，因为Spark是分布式的，它可以通过在集群中多个节点上并行执行任务来提升处理速度，而且Spark支持多种集群管理和资源调度工具，例如：Apache Mesos、Hadoop YARN、Spark自带的资源调度程序等等。 Spark的编程接口非常灵活，可以使用Scala、Java、Python等多种编程语言来编写Spark程序。无论是使用哪种编程语言，Spark都提供了相应的API和工具，例如：Spark SQL、Spark Streaming等。 总之，Spark是一个非常强大的大数据处理框架，它的出现是对传统的Hadoop框架的一种补充和升级，不仅可以处理海量的数据，而且可以提供更快速的数据处理速度和更强大的数据处理能力。因此，Spark已经成为现代大数据处理和机器学习领域中非常重要的工具之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值