Pyspark学习笔记（二）--- spark部署及spark-submit命令简介

已于 2022-08-17 22:52:33 修改
阅读量2.5k 收藏 3
点赞数
分类专栏： spark 文章标签： spark
于 2021-03-17 16:47:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Teeyohuang/article/details/114936165
版权
本文档介绍了Spark的四种部署模式：本地模式、独立集群、YARN和Kubernetes，并详细解析了spark-submit命令及其常用参数，旨在帮助理解如何根据实际需求调整资源以优化Spark应用执行效率。
摘要由CSDN通过智能技术生成

Pyspark学习笔记（二）--- spark部署及spark-submit命令简介

目录

Pyspark学习笔记（二）--- spark部署及spark-submit命令简介

1.Spark的部署模式

1.1 本地模式

1.2  Spark独立集群(Standalone Deploy Mode)

1.3 基于Hadoop YARN 部署

 1.4 基于Kubernetes(即k8s)部署

2. spark-submit 命令

1.Spark的部署模式

官方文档参考资料：https://spark.apache.org/docs/latest/cluster-overview.html#cluster-mode-overview

常见的部署模式有：

● 本地模式
● Spark独立集群(Standalone Deploy Mode)
● 基于Hadoop YARN 部署
● 基于Apache Mesos部署(最新版本的spark已经启用)
● 基于Kubernetes(即k8s)部署

各个部署模式之间的主要区别在于计算集群中一个或者多个节点之间的资源管理方式。每种Spark部署模式都可以用于交互式(shell）应用和非交互式（批处理）应用。
下面简述一下在不同部署模式下，提交任务的命令；参考资料：Submitting Applications - Spark 3.3.0 Documentation

1.1 本地模式

        该模式 运行Spark进程运行在本地机器上，受限于本地机器的资源，一般都是用来进行测试的。

 可以看到，master填的local即选择本地模式，且可以写为 local[n] 来选择使用 n个CPU内核；

1.2  Spark独立集群(Standalone Deploy Mode)

Spark独立集群指Spark内建的（“独立的”）调度器，无需任何外部调度器。

在master处填写主进程运行的地址和端口

最低0.47元/天 解锁文章
spark提交python程序_Spark任务提交(Spark Submit)
weixin_39728544的博客
12-10 2165
Spark-Submit简介spark-submit脚本用于在集群上启动应用程序,它位于Spark的bin目录中。这种启动方式可以通过统一的界面使用所有的Spark支持的集群管理功能，因此您不必为每个应用程序专门配置应用程序。绑定应用程序的依赖关系如果您的代码依赖于其他项目，则需要将它们与应用程序一起打包，才能将代码分发到Spark群集。为此，请创建一个包含代码及其依赖关系的程序集jar(或“ub...
搞懂spark-submit参数及应用程序提交（详细）
热门推荐
大柳的博客
12-31 1万+
介绍 当前支持三种集群管理器： Spark独立集群管理器，一种简单的Spark集群管理器，很容易建立集群，基于Spark自己的Master-Worker集群 Apache Mesos，一种能够运行Haoop MapReduce和服务应用的集群管理器 Hadoop YARN，Spark可以和Hadoop集成，利用Yarn进行资源调度 如果在集群中仅有Spark程序，那么可以使用Spark独立的集群管理器。如果有其他的mapreduce程序，那么需要使用Yarn或者Mesos管理
pyspark入门 | spark-submit 提交pyspark任务
u011250186的博客
12-10 4540
https://github.com/hxjcarrie/pyspark_study 以LogisticRegression为例 输入数据样例（第一列为label，后面为feature） lrDemo.py（基于RDD的mllib） #!coding=utf8 ''' author: huangxiaojuan ''' import sys reload(sys) sys.setdefaultencoding('utf8') from pyspark.sql import SparkS...
【PySpark学习笔记三】spark-submit命令详解
roguesir的博客
10-23 8513
spark-submit命令利用可重用的模块形式编写脚本，并且以编程方式提交作业到Spark。 spark-submit命令 spark-submit命令提供一个统一的API把应用程序部署到各种Spark支持的集群管理器上，从而免除了单独配置每个应用程序。 命令行参数 下面逐个介绍这些参数： --master：用于设置主结点URL的参数。 local：用于执行本地机器的代码。Spark运行一个...
SPARK-SUBMIT命令
lvyanwenwen的博客
09-25 872
1. 并发64，运行基于APACHE-BEAM开发的程序 spark-submit --total-executor-cores 64  --executor-cores 8  --executor-memory 20g  --class test.ktrTest beam-data-integration-V2.0.0.jar  ktrpath=/opt/ZDH/parcels/lib/spa
PySpark任务提交spark-submit参数设置一文详解
master_hunter的博客
01-12 5687
之前我们已经进行了pyspark环境的搭建以及经过jupyter notebook进行过开发以及实现了一系列的函数功能.但是一般我们跑spark都是在集群上面跑，只有测试一般在本地上测试，而且每个公司配置的spark集群的端口和设置的参数都有很大出入，故每种情况都有可能发生。所以一般任务提交的参数最好都需要能够清楚的明白对应功能。很多spark任务都会吃大量的内存以及队列资源，合理的安排spark资源十分重要，这些都需要我们在spark-submit指令上面配置。
PySpark学习---通过spark-submit提交到yarn运行
最新发布
weixin_46164667的博客
04-22 744
Linux上提交文件命令。
Spark学习笔记[3]-Spark安装部署
unlock的博客
03-11 3471
Spark学习笔记[3]-Spark安装部署 1、下载对应版本的spark   官网我始终都下不下来，推荐一个国内的镜像： https://mirrors.tuna.tsinghua.edu.cn/apache/spark 2、概述 2-1 安装模式   虽然Spark是一个分布式计算框架，但是其不属于Hadoop Project，它有自己的资源层管理和文件系统，可以不依赖Hadoop的HDFS和Yarn，所以安装部署的时候可以只安装spark，对应的就是standalone集群， 但是一般都会使用HDF
Pyspark学习笔记（一）---序言及目录
朝花&夕拾
05-25 565
前言 提示：自己学习Pyspark时所记录笔记，以便日后回忆 1.学习spark时的一些 官方API和参考文档 ################ Spark Python API and Docs ################### Spark Python API Docs i.pyspark package ii.pyspark.sql module iii.pyspark.ml package iv.pyspark.streaming module v.pyspark.mllib p..
Pyspark学习笔记（三）--- SparkContext 与 SparkSession
朝花&夕拾
06-25 7226
Pyspark学习笔记（三）— SparkContext 与 SparkSession 文章目录Pyspark学习笔记（三）--- SparkContext 与 SparkSession一、什么是SparkContext？二、什么是 SparkSession三、SparkSession 常用方法 一、什么是SparkContext？ SparkContext 从 Spark 1.x（JavaSparkContext for Java）开始可用，在 2.0 中引入 SparkSession 之前，它被用
spark和python的区别_spark-submit和pyspark有什么区别？
weixin_39637614的博客
12-06 485
import my_script; spark = my_script.Sparker(sc); spark.collapse('./data/')一切都OK。但是，如果我尝试通过命令行做同样的事情，引发提交，我得到一个错误：Command: /usr/local/spark/bin/spark-submit my_script.py collapse ./data/File "/usr/loca...
spark-submit命令行提交Spark任务流程解读
Dreamming Time的博客
06-01 2475
spark-submit方式提交应用 启动脚本文件 # 命令行提交Spark应用样例： #./bin/spark-submit \ # --class com.imooc.spark.Test.TestOfSparkContext2 \ # --conf spark.master spark://localhost:7077 \ # --master local[2] \ # /home/hadoop/data/test-jar/sql-1.0.jar arg1 arg2 # if [ -z "${
spark-submit提交python任务
Airer的博客
05-26 6183
1、提交python文件，遇到的难点是python文件缺乏运行所需要的依赖模块。 python3-mpipinstallxx 我使用的是将anaconda打包放在HDFS上。 基础是已经有同事在linux服务器上安装好了anaconda2，很方便。 首先是将文件夹，打包成zip格式: zip -r anaconda2.zip anaconda2。然后上传文件至HDFS服务器。 对于缺乏的模块，可以使用conda 或者pip进行添加。 最后是运行命令 spark2-submit \...
python pyspark-submit 保存模型到hdfs（全网之最）
WGS.
06-30 3058
文章目录
spark-submit 命令使用详解
qq_35224503的博客
02-20 2744
sumbmit
spark2-submit 提交 python(pyspark)项目
住在海边住在云上
10-13 2044
两种方式 local yarn 假设一个pyspark的项目下边有两个文件：main.py和utils.py local （1）目录结构 （2）提交命令 spark2-submit --master local --deploy-mode client main.py yarn （1）目录结构 其中main.py是项目的主入口文件，utils.py中可能包含一些UDF，projec...
spark-submit使用及说明
weixin_34104341的博客
09-21 609
为什么80%的码农都做不了架构师？>>> ...
spark-submit提交Python程序，使用python zip环境
abin的博客
02-10 2180
## yarn client hdfs文件 spark-submit \ --master yarn \ --deploy-mode cluster \ --driver-memory 1g \ --num-executors 3 \ --executor-memory 1g \ --executor-cores 1 \ --archives hdfs://hadoop102:8020/user/xxx/python_zips/pyspark_env.zip#my_env \ --conf spark..
pyspark源码之SparkSubmit学习（ SparkSubmit.scala）
xiaoQL520的博客
01-15 2169
本系列文章是下载的是spark2.2.1版本的源码进行相关分析和学习。 SparkSubmit.scala包含了3个Object和1个class，分别是SparkSubmitAction、SparkSubmit、SparkSubmitUtil和OptionAssigner。 （1）首先来看一下SparkSubmitAction SparkSubmitAction是一个只允许在deploy包中
大数据spark企业级实战版【学习笔记】---spark简介
03-16
Spark是一个基于内存计算的分布式计算框架，它可以在大规模数据处理中提供高效的数据处理能力。Spark支持多种编程语言，包括Java、Scala、Python和R等，可以在不同的数据处理场景中灵活应用。Spark的核心是RDD（弹性分布式数据集），它是一种分布式的内存抽象，可以在不同的节点上并行处理数据。Spark还提供了许多高级API，如Spark SQL、Spark Streaming、MLlib和GraphX等，可以满足不同的数据处理需求。Spark的优点包括高速、易用、可扩展性强等，因此在大数据处理领域得到了广泛应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值