Spark submit 配置executor参数无效

最新推荐文章于 2022-07-21 10:30:32 发布
最新推荐文章于 2022-07-21 10:30:32 发布
阅读量1.2k 收藏
点赞数
分类专栏： Python 文章标签： spark 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aGreySky/article/details/124622398
版权

Spark submit的参数可以看这个网站Spark-Submit参数设置说明 - 开源大数据平台E-MapReduce - 阿里云

但在Spark submit提交任务时，发现不管怎么设置参数，最后分区结果都固定为2，说明参数没生效。

研究半天发现，需要把参数放在任务之前，也就是py文件需要放在最后，才能使参数生效。

./spark-submit --master yarn --deploy-mode client --py-files /tmp/dmodpso/dmodpso_cd.zip --executor-memory 2g --executor-cores 1 --num-executors 3 /tmp/dmodpso/main.py

aGreySky
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark三种属性配置方式详解
09-30
为此，你可以创建一个空的`SparkConf`对象，然后在运行`spark-submit`时通过命令行参数传递配置： ```bash ./bin/spark-submit --name "My app" \ --master local[4] \ --conf spark.shuffle.spill=false \ --...
Spark调优
leegh1992的专栏
08-08 623
Spark，Hadoop交流群，群QQ号：521066396，欢迎加入共同学习，一起进步~Spark运行原理四个阶段：1、准备数据集合和生成相应的RDD DAG图，发送给DAGScheduler 2、DAGScheduler在收到数据集的DAG之后，详细的组织该DAG所包含的stage,将这些stage所包含的TaskSet发送给TaskScheduler 3、TaskScheduler收到了T
解决 Spark yarn 任务启动之后executor不停增长的问题,num-executors配置不管用
onway_goahead的博客
11-25 1943
spark2-submit --class SparkKafka \ --master yarn \ --executor-memory 1G \ --num-executors 6 \ --driver-memory 1g \ --conf spark.driver.supervise=true \ --conf spark.dynamicAllocation.maxExecutors=6 \ -- 限制最大executor --conf spark.streaming.kafka.maxRate.
Spark on Yarn遇到的问题及解决思路
weixin_34034670的博客
10-09 551
原文：http://www.aboutyun.com/thread-9425-1-1.html 问题导读1.Connection Refused可能原因是什么？2.如何判断内存溢出，该如何解决？扩展：3.你认为/etc/hosts配置错误，会对集群有什么影响？1 概述     Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spa...
Spark运维中遇到的问题
h952520296的博客
08-07 3439
查了一下应该是log的jar包冲突 把hive-jdbc-2.1.1-cdh6.3.2-standalone.jar 这个jar包换了个名字 再运行spark-shell 就可以了。以上提交参数中的--num-executors 40没有生效，executors 大于40并且占满yarn资源，导致后来的yarn任务阻塞。因为spark-shell作为一个与用户交互的命令行，必须将Driver运行在本地，而不是yarn上。其中的参数与提交Spark应用程序到yarn上用法一样。运行成功进入交互页面。
spark提交任务参数–executor-cores设置不起作用
onway_goahead的博客
10-27 1641
问题分析与解决 两个原因： 1.配置不对 其实这是因为我们的capacity schedule使用的是DefaultResourceCalculator，那么DefaultResourceCalculator它在加载container时其实仅仅只会考虑内存而不考虑cores。所以，如果我们想让它既考虑内存也考虑cores的话，需要将$HADOOP_HOME/etc/hadoop/capacity-...
使用spark-submit提交程序遇到的配置参数问题
qq_38934395的博客
03-21 397
在用spark-submit提交时提示以下报错信息 Exception in thread "main" java.lang.IllegalArgumentException: System memory 101384192 must be at least 471859200. Please increase heap size using the --driver-memory option...
Redis 中spark参数executor-cores引起的异常解决办法
09-09
主要介绍了Redis 中spark参数executor-cores引起的异常解决办法的相关资料,需要的朋友可以参考下
spark-submit工具参数说明.pdf
最新发布
07-04
以下是对`spark-submit`工具主要参数的详细说明： 1. **--master MASTER_URL**：指定Spark运行的集群地址。它可以是`spark://host:port`（Spark Standalone模式），`mesos://host:port`（Mesos集群），或者是`yarn`...
centOS7下Spark安装配置教程详解
09-15
- **创建`spark-env.sh`**：在`/usr/spark/spark-2.3.1-bin-hadoop2.7/conf`目录下，复制`spark-env.sh.template`为`spark-env.sh`，并编辑它来设置Scala、Java、Hadoop的路径以及Spark主节点的IP地址和executor内存...
Spark3.0.0配置文件.zip
08-09
总之，理解和配置Spark3.0.0的参数对于充分利用其功能和提升性能至关重要。正确设置这些参数能够帮助我们更好地管理资源，优化任务调度，以及解决可能出现的性能瓶颈。通过持续学习和实践，我们可以逐步掌握Spark...
executor-cores参数并未对vcores生效的原因分析
卧龙居
11-16 5638
虽然目前大多数平台内置Application在提交时，只配置了–num-executors和–executor-memory参数，但是其他APP的开发者可能会配置–executor-cores参数。 举个例子： ./spark-submit –master yarn-client –executor-cores 4 –num-executors 6  –executor-memory
spark 指定相关的参数配置 num-executor executor-memory executor-cores
weixin_30596165的博客
08-08 704
num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。参数调优建议：每个...
Spark on Yarn遇到的几个问题及解决思路
热门推荐
guohecang的博客
10-09 1万+
Spark on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn logs命令实现。
pyspark踩坑
sinat_41715275的博客
01-02 1029
1：打印中文出现乱码的问题。 解决方法：添加 reload(sys) sys.setdefaultencoding('utf-8') 2：参数设置。 建议使用新api from pyspark.sql import SparkSession conf = SparkConf() conf.setMaster('yarn') conf.setAppName('psctwo') 参数 ...
spark参数executor-cores引起的异常
doctorq
10-11 3828
测试阶段我用了单机的redis,然后我今天将executor-cores的值由1改为了2,然后提交到spark的时候报错 报错信息Unexpected end of stream16/10/11 16:35:50 WARN TaskSetManager: Lost task 63.0 in stage 3.0 (TID 212, gzns-arch-spark04.gzns.iwm.name): r
spark性能调优：num-executors, execuor-cores, executor-memory
lukabruce的博客
07-21 3142
spark性能调优
spark on yarn 配置及异常解决
主要分享大数据相关的知识，如Spark、Hudi
05-08 1074
转载请务必注明原创地址为：http://dongkelun.com/2018/04/16/sparkOnYarnConf/ 前言 YARN 是在Hadoop 2.0 中引入的集群管理器，它可以让多种数据处理框架运行在一个共享的资源池上，并且通常安装在与Hadoop 文件系统（简称HDFS）相同的物理节点上。在这样配置的YARN 集群上运行Spark 是很有意义的，它可以让Spark 在存储数据...
spark-submit 提交指定executor-memory
04-01
可以使用以下命令来在spark-submit中指定executor-memory: ``` spark-submit --executor-memory <memory> <application-jar> ``` 其中，`<memory>`可以是一个整数（单位为MB），也可以是一个带有单位的字符串，如`1g`表示1GB。 例如，要指定每个executor使用2GB内存，可以使用以下命令： ``` spark-submit --executor-memory 2g myApp.jar ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值