Spark部署

最新推荐文章于 2024-05-10 01:25:00 发布
最新推荐文章于 2024-05-10 01:25:00 发布
阅读量300 收藏 3
点赞数
分类专栏： 大数据 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44002865/article/details/119445555
版权

Spark部署

文章目录

1、Local 模式

  • 第一步：将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到服务器并解压

  • 第二步：启动 Local 环境

    bin/spark-shell

  • 第三步：提交应用

    # --class ：表示要执行程序的主类，此处可以更换为咱们自己写的应用程序
# --master local[2] ：部署模式，默认为本地模式，数字表示分配的虚拟CPU 核数量
# spark-examples_2.12-3.0.0.jar ：运行的应用类所在的 jar 包，实际使用时，可以设定为咱们自己打的 jar 包
# 数字 10 ：表示程序的入口参数，用于设定当前应用的任务数量
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.0.0.jar \ 
10




2、Standalone模式

集群模式

集群部署规划

hadoop151hadoop152hadoop153
Master√
Worker√√√

  • 第一步：将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到服务器并解压

  • 第二步：进入spark路径的 conf 目录，修改 slaves.template 文件名为 slaves，并修改 slaves 文件

    # Spark的Worker节点的服务器
hadoop151
hadoop152
hadoop153

  • 第三步：修改 spark-env.sh.template 文件名为 spark-env.sh，并修改 spark-env.sh 文件

    export JAVA_HOME=/opt/software/jdk/jdk1.8.0_281
# Spark的Master节点的服务器
SPARK_MASTER_HOST=hadoop151
# 内部通信端口
SPARK_MASTER_PORT=7077

  • 第四步：将 spark 整个文件分发到其他服务器上

  • 第五步：启动集群

    sbin/start-all.sh

  • 第六步：查看 Master 资源监控Web UI 界面

    http://hadoop151:8080

  • 第七步：提交应用

    # --class ：表示要执行程序的主类，此处可以更换为咱们自己写的应用程序
# --master local[2] ：部署模式，默认为本地模式，数字表示分配的虚拟CPU 核数量
# spark-examples_2.12-3.0.0.jar ：运行的应用类所在的 jar 包，实际使用时，可以设定为咱们自己打的 jar 包
# 数字 10 ：表示程序的入口参数，用于设定当前应用的任务数量
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop151:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

  • 第八步：配置历史服务

    • 8.1：启动 hadoop 集群，HDFS 上创建 /directory 目录

      hadoop fs -mkdir /directory

    • 8.2：修改 spark-defaults.conf.template 文件名为 spark-defaults.conf，并修改 spark-defaults.conf 文件

      spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop151:8020/directory

    • 8.3：修改 spark-env.sh 文件, 添加日志配置

      # ================ 解释 =============
export SPARK_HISTORY_OPTS="
# WEB UI 访问的端口号
-Dspark.history.ui.port=18080
# 指定历史服务器日志存储路径
-Dspark.history.fs.logDirectory=hdfs://hadoop151:8020/directory
# 指定保存Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数
-Dspark.history.retainedApplications=30"

# 事例
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop151:8020/directory
-Dspark.history.retainedApplications=30"

    • 8.4：将 spark-defaults.conf、spark-env.sh 文件分发到其他服务器上

    • 8.5：启动集群和历史服务

      sbin/start-all.sh
sbin/start-history-server.sh

    • 8.6：重新执行任务

      # --class ：表示要执行程序的主类，此处可以更换为咱们自己写的应用程序
# --master local[2] ：部署模式，默认为本地模式，数字表示分配的虚拟CPU 核数量
# spark-examples_2.12-3.0.0.jar ：运行的应用类所在的 jar 包，实际使用时，可以设定为咱们自己打的 jar 包
# 数字 10 ：表示程序的入口参数，用于设定当前应用的任务数量
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop151:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

    • 8.7：访问历史服务

      http://hadoop151:18080/




高可用模式

集群规划

hadoop151hadoop152hadoop153
Master√√
Worker√√√
Zookeeper√√√

  • 第一步：按照 Standalone 模式的 集群模式 安装

  • 第二步：启动 Zookeeper 集群

  • 第三步：修改 spark-env.sh 文件

    # 注 释 如 下 内 容 ： 
# SPARK_MASTER_HOST=
# SPARK_MASTER_PORT=

# 添加如下内容:
#Master 监控页面默认访问端口为 8080，但是可能会和 Zookeeper 冲突，所以改成 8989，也可以自定义，访问 UI 监控页面时请注意
SPARK_MASTER_WEBUI_PORT=8989

export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=hadoop151,hadoop152,hadoop153
-Dspark.deploy.zookeeper.dir=/spark"

  • 第四步：将 spark-env.sh 文件分发到其他服务器上

  • 第五步：启动集群

    sbin/start-all.sh

  • 第六步：启动 hadoop152 的单独 Master 节点，此时 hadoop152 节点 Master 状态处于备用状态

    sbin/start-master.sh

  • 第七步：提交应用到高可用集群

    # --class ：表示要执行程序的主类，此处可以更换为咱们自己写的应用程序
# --master local[2] ：部署模式，默认为本地模式，数字表示分配的虚拟CPU 核数量
# spark-examples_2.12-3.0.0.jar ：运行的应用类所在的 jar 包，实际使用时，可以设定为咱们自己打的 jar 包
# 数字 10 ：表示程序的入口参数，用于设定当前应用的任务数量
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop151:7077,hadoop152:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10




3、Yarn 模式

  • 第一步：将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到服务器并解压

  • 第二步：修改 hadoop 路径的 etc/hadoop/yarn-site.xml 文件

        <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>

    <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

  • 第三步：将 yarn-site.xml 文件分发到其他服务器上

  • 第四步：修改 Spark 路径的 conf/spark-env.sh 文件

    export JAVA_HOME=/opt/software/jdk/jdk1.8.0_281
YARN_CONF_DIR=/opt/software/hadoop/hadoop-3.1.4/etc/hadoop

  • 第五步：启动 HDFS 和 Yarn

  • 第六步：提交应用

    # --class ：表示要执行程序的主类，此处可以更换为咱们自己写的应用程序
# --master local[2] ：部署模式，默认为本地模式，数字表示分配的虚拟CPU 核数量
# spark-examples_2.12-3.0.0.jar ：运行的应用类所在的 jar 包，实际使用时，可以设定为咱们自己打的 jar 包
# 数字 10 ：表示程序的入口参数，用于设定当前应用的任务数量
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

  • 第七步：配置历史服务器

    • 7.1：启动 hadoop 集群，HDFS 上创建 /directory 目录

      hadoop fs -mkdir /directory

    • 7.2：修改 spark-defaults.conf.template 文件名为 spark-defaults.conf，并修改 spark-defaults.conf 文件

      spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop151:8020/directory

    • 7.3：修改 spark-env.sh 文件, 添加日志配置

      # ================ 解释 =============
export SPARK_HISTORY_OPTS="
# WEB UI 访问的端口号
-Dspark.history.ui.port=18080
# 指定历史服务器日志存储路径
-Dspark.history.fs.logDirectory=hdfs://hadoop151:8020/directory
# 指定保存Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数
-Dspark.history.retainedApplications=30"

# 事例
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop151:8020/directory
-Dspark.history.retainedApplications=30"

    • 7.4：修改 spark-defaults.conf 文件

      spark.yarn.historyServer.address=hadoop151:18080
spark.history.ui.port=18080

    • 7.5：启动集群和历史服务

      sbin/start-history-server.sh

    • 7.6：重新执行任务

      # --class ：表示要执行程序的主类，此处可以更换为咱们自己写的应用程序
# --master local[2] ：部署模式，默认为本地模式，数字表示分配的虚拟CPU 核数量
# spark-examples_2.12-3.0.0.jar ：运行的应用类所在的 jar 包，实际使用时，可以设定为咱们自己打的 jar 包
# 数字 10 ：表示程序的入口参数，用于设定当前应用的任务数量
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

    • 7.7：访问历史服务

      http://hadoop151:18080/




4、Windows模式

  • 第一步：将文件 spark-3.0.0-bin-hadoop3.2.tgz 解压缩到无中文无空格的路径中

  • 第二步：启动本地环境（执行解压缩文件路径下 bin 目录中的 spark-shell.cmd 文件，启动 Spark 本地环境）




5、部署模式对比

模式Spark 安装机器数需启动的进程所属者应用场景
Local1无Spark测试
Standalone3Master 及 WorkerSpark单独部署
Yarn1Yarn 及 HDFSHadoop混合部署
code@fzk
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark部署详细教程
aj_shang的博客
03-01 1404
部署Standalone模式下的spark及访问web管理页面失败问题
Spark-deploy
oblesslyy的专栏
05-21 808
Spark-deploy@(spark)[deploy|yarn]
Spark的部署与使用
theVicTory的博客
09-01 2192
本文主要对Spark及其组成结构进行了简要介绍，然后记录了采用独立集群模式、yarn集群对Spark进行部署对过程
spark的安装与部署
热门推荐
weixin_65195823的博客
06-28 1万+
为了避免MapReduce框架中多次读写磁盘带来的消耗，以及更充分地利用内存，加州大学伯克利分校的AMP Lab提出了一种新的、开源的、类Hadoop MapReduce的内存编程模型Spark。一、spark是什么？Spark是一个基于内存的大数据并行处理框架，其最初由加州大学伯克利分校的AMP Lab研发，现已成为Apache软件基金会的顶级项目之一。Spark不仅提供了可扩展、高容错、高性能的分布式数据处理，还提供了内存级的数据处理。
2024年搭建spark和scala，派大星都轻松学会了，超简单，2024年最新详解系列文章
最新发布
2401_84185106的博客
05-10 241
编写好后退出，用source使代码生效，在用scala -version查看是否成功，出现安装的版本号即为成功。使用xshell就要设置一下虚拟机的网络配置，改为NAT模式和子网IP改为192.168.88.0。进入虚拟机或使用xshell进行配置（派大星选择用xshell）进入官网下载spark和Scala的安装包。用vim命令进入etc下的profile。这是xshell连接成功的页面。进入后在最后加入这三行代码。接着就要配置环境变量了。
Spark安装部署 ——一篇文章轻松学会三种Spark运行环境的搭建
春和的博客
05-20 1722
所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境 Spark的Standalone模式体现了经典的master-slave模式。 yarn模式就是将spark计算所需要的资源等的调度工作交由Yarn
Spark集群安装部署
MJK祺的博客
05-18 1747
由于Spark仅仅是一种计算机框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS，HBase等组件负责数据的存储管理，Spark负责数据计算。本文章主要阐述在Standalone模式下，Spark集群的安装和配置。Yarn模式不需要启动spark集群，只需要启动hadoop集群即可，在启动hadoop集群之前，需要在yarn-site.xml文件关闭内存检查，否则在测试官方案例时可能会报错。至此，Spark集群配置就完成了。
Spark部署模式与作业提交.md
08-09
Spark部署模式与作业提交.md
Spark部署及示例代码讲解
01-30
本文介绍了如何下载、部署 Spark及示例代码的运行。此外，深入介绍了运行代码的过程、脚本内容，通过这些介绍力求让读者可以快速地上手 Spark。目前市面上发布的Spark中文书籍对于初学者来说大多较为难读懂，作者...
Spark独立部署模式
10-09
Spark支持独立部署模式,包括一个Spark master进程和多个 Spark worker进程.独立部署模式可以运行在单机上作为测试之用，也可以部署在集群上.如果你打算部署在集群上,可以使用我们提供的部署脚本启动一个集群。
Spark2.4.3集群部署
09-14
"Spark2.4.3集群部署知识点" Spark2.4.3集群部署是将Spark集群安装到多台机器上，以达到分布式计算和大规模数据处理的目的。下面是Spark2.4.3集群部署的详细知识点： 1. Master 节点配置 Master 节点是Spark集群的...
spark部署和基础代码的编写
04-24
spark部署和基础代码的编写spark部署和基础代码的编写spark部署和基础代码的编写
Spark运行环境搭建
weixin_52112640的博客
06-07 2528
（2）启动Local环境 进入解压缩后的路径，执行一下命令
Spark部署方式
勇心在馨
01-12 2491
Spark支持的主要的三种分布式部署方式分别是 一、standalone（FIFO调度） 1、独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。它是Spark实现的资源调度框架，其主要的节点有Client节点、Master节点和Worker节点 （1）Master主控节点，在整个集群之中，最多只有一个Master处在Active状态 （2）Worker工作...
Spark学习笔记(2)——Spark运行环境部署
m0_56602092的博客
07-28 3153
Spark只是一个数据处理框架和计算引擎，它必须要在一个特定的环境中才能运行。常用的运行环境有如下三种 一、 Local模式 Local模式是指不需要任何其它节点资源就可以在本地执行Spark代码的环境，不需要额外的进程进行资源管理，所有程序都运行在本地的一个进程环境中（如jvm)，一般用于教学，调试，演示等。在 IDEA 中运行代码的环境我们称之为开发环境，不太一样。 spark-3.0.0-bin-hadoop3.2.tgz表示的是基于3.2版本的Hadoop编译的spark，所以还需要安装配置had
spark 部署
天下月色共三分的博客
03-20 531
spark
01-Spark环境部署
clear-ninghongkang的博客
08-13 1071
​ **client模式适用于测试调试程序。**Driver进程是在客户端启动的，这里的客户端指的是提交应用程序的当前节点。在Driver端可以看到 task执行的情况​ **生成环境中不能使用client模式。**因为：假设要提交100个application 到集群运行，Driver每次都会在 client端启动，那么就会导致客户端100网卡流量暴增的问题。
Spark内容分享(九)：三种 Spark 部署模式介绍
之乎者也·的博客
01-01 1349
在提交成功后, 将alive master直接kill掉不会影响程序运行，当新的master接收集群后, 程序继续运行, 正常得到结果。在YARN中 有一个历史服务器, 其功能是将YARN运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息.Spark的历史服务器, 功能: 将Spark运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息.不同的是, 这个解释器环境 运行的不是python代码, 而是scala程序代码。
Apache Spark三种分布式部署方式比较
weixin_33921089的博客
04-21 489
目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN。其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统一的资源管理系统完成：让Spark运行在一个通用的资源管理系统之上，这样可以与其他计算框架，比如Ma...
fate on spark部署
01-03
fate on spark是一种基于Apache ...总的来说，FATE on Spark部署可以帮助用户充分利用Spark集群的分布式计算能力，加速机器学习任务的执行和处理大规模数据集的需求，为用户提供了更加灵活和高效的机器学习计算平台。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值