那项目构建完成后，如何调试spark-submit任务提交过程

最新推荐文章于 2024-05-16 19:16:31 发布
最新推荐文章于 2024-05-16 19:16:31 发布
阅读量156 收藏
点赞数
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42593130/article/details/129598552
版权

调试spark-submit任务提交过程，您可以使用以下方法：

  1. 检查spark-submit命令的输出：spark-submit命令会在控制台输出任务的日志，您可以检查日志以了解任务是否正常运行。

  2. 使用spark-submit命令的“--verbose”选项：该选项可以让spark-submit命令输出更多的日志，以帮助您更好地了解任务的运行情况。

  3. 检查spark web UI：您可以通过spark web UI检查任务的详细信息，包括任务的执行情况，性能，资源使用情况等。

  4. 调试代码：如果任务不按预期运行，您可以检查代码并设置断点来调试。

  5. 检查配置文件：

二院大蛙
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark源码系列（一）spark-submit提交作业过程
01-30
折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个Driver Program的过程。我们先看一下用SparkSubmit提交的方法吧，下面是从官方上面摘抄的内容。这个是提交到standalone集群的方式，打开spark-submit这文件，我们会发现它最后是调用了org.apache.spark.deploy.SparkSubmit这个类。我们直接进去看就行了，main函数就几行代码
Spark-submit
03-14
hdp spark
spark提交任务的三种的方法
helloxiaozhe的博客
04-25 8486
spark提交任务的三种的方法 在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种： 1、使用spark 自带的spark-submit工具提交任务 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下： ./spark-submit --class com.learn.spark.SimpleApp --master yarn --deploy-mode client --driver-
[1015]spark-submit提交任务及参数说明
周小董
07-10 5268
文章目录例子spark-submit 详细参数说明--master--deploy-mode--class--name--jars--packages--exclude-packages--repositories--py-files--files--conf PROP=VALUE--properties-file--driver-memory--driver-java-options--driver-library-path--driver-class-path--driver-cores--e
Spark提交任务
别人笑我太疯癫，我笑他人看不穿。
11-02 3699
Spark_Submit脚本参数 Spark-submit脚本提交任务时最简易的命令格式如下： ./bin/spark-submit \ --master spark://localhost:7077 \ 任务包 任务参数 而实际开发中用的一般是如下的格式 ./bin/spark-submit \ --master yarn \ --deploy-mode cluster \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 11
使用spark-submit工具提交Spark作业
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 3623
大数据实验教学系统使用spark-submit工具提交Spark作业对于数据的批处理，通常采用编写程序、打.jar包提交给集群来执行，这需要使用Spark自带的spark-submit工具。   一般的部署策略是在一个网关机器上提交应用程序，这个机器和Worker机器部署在一个网络中（例如，Standalone模式的集群中的Master节点）。在此部署策略中，client模式更为合适，client模式中的driver直接跟spark-submit进程一起启动，spark-submit进程在此扮演集群中一个c
Spark任务提交
m0_51550513的博客
05-08 236
【代码】Spark任务提交。
spark中spark-submit提交样例及参数说明
爱折腾的小土豆的博客
07-01 3151
当我们使用像Yarn这样的集群管理器运行spark应用程序时，会有几个守护进程在后台运行，如NameNode，Secondary NameNode，DataNode，JobTracker和TaskTracker等。这是一种很有前景的部署模式。5.如果资源不变，你的RDD只有2个分区，那么同一时刻只有2个task运行，其余18个核空转，造成资源浪费。上面涉及到Spark的许多部署模式，究竟哪种模式好这个很难说，需要根据你的需求，如果你只是测试Spark Application，你可以选择local模式。
【Spark】spark-submit作业提交及参数设定
热门推荐
发现问题，并解决问题，批判性思维
10-29 1万+
随着 application 的增加，需要不断安装新的包，而且不同 application 可能存在版本问题，这对于 client 模式来说或许还可以接受，但 cluster 模式肯定不行的，如果集群很大，装环境会很麻烦。在 client 模式下，Driver 就找在 Client 端，可以把 client 端的资源分发，而 cluster 模式下，Driver 可在集群任一节点，该节点是没有资源的。client：在客户端上启动driver，这样逻辑运算在client上执行，任务执行在cluster上。
spark-submit cluster模式时driver-class-path支持hdfs路径
04-23
spark官方版本的driver-class-path不支持hdfs路径，只支持本地路径。本资源解决了这个问题，driver-class-path在cluster模式时可以支持hdfs路径，解决了cluster模式driver有大量jar依赖的问题。
apache-doris-spark-connector-2.3_2.11-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-2.3_2.11-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：2.x Scala Version：2.11 Apache Doris是一个现代MPP分析...
spark-annoy：在Apache Spark上构建Annoy索引
02-05
在Apache Spark上构建 Index。 然后使用Annoy查询邻居。 注意 我在5分钟内使用100个节点构建了117M个64维向量的索引。 设置为； // version: 0.1.4 // spark.executor.instances = 100 // spark.executor.memory =...
spark-submit提交任务参数解析
Jerry的博客
11-13 2370
导读：spark和yarn整合后，可以将Application提交到Yarn上运行，和StandAlone提交模式一样，Yarn也有两种提交模式。 具体： 1. yarn-client提交任务 配置：在spark目录下的spark-env.sh添加Hadoop_HOME的配置目录即可提交yarn 任务，具体步骤如下： export HADOOP_CONF_DIR=$HADOOP_...
一文带你解析Spark的源码：从Spark-Submit任务提交到资源分配Executor
GitChat
05-15 4164
随着互联网的告诉发展，每天会有大量的数据产生，传统的数据分析手段已经不能满足现在的需求。Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎，现在形成一个高速发展应用广泛的生态系统。Spark由于其基于内存的计算模式，能够很好的应用于各个应用场景，包括离线数据分析、在线 数据分析和机器学习等。要想深入的了解Spark，学习其源码实现是必不可少的过程。 在本场 Chat 中，会讲到...
spark提交任务命令
weixin_44280356的博客
10-21 2799
Spark submit spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 spark 提交到 yarn 执行的例子如下。 spark-submit --master yarn --executor-memory 20G --executor-cores 2 --driver-memory...
Spark(二): spark-submit命令详解
SeaSky_Steven的博客
01-03 2579
spark-submit命令利用可重用的模块形式编写脚本，并且以编程方式提交作业到Spark。 spark-submit命令 spark-submit命令提供一个统一的API把应用程序部署到各种Spark支持的集群管理器上，从而免除了单独配置每个应用程序。 命令行参数 下面逐个介绍这些参数： --master：用于设置主结点URL的参数。 local：用于执行本地机器...
如何使用spark-submit提交sparkSQL任务
vic_torsun的博客
08-27 1万+
前言 本文介绍了使用java开发spark sql应用程序提交到yarn上运行的全过程，并介绍解决了一些开发和提交中常见的问题。 准备 首先我们要搭建好spark on yarn的集群环境，我是用cdh安装和cloudera manager进行维护的。 这里用到的组件主要有yarn、hdfs和hive。 对于开发人员来说唯一要准备的就是代码开发环境，使用idea创建一个maven项目，在pom....
Spark系列之SparkSubmit提交任务到YARN
luoyepiaoxue2014的博客
11-30 2610
Spark系列之SparkSubmit提交任务到YARN
spark结课tip3
最新发布
m0_74811962的博客
05-16 350
的常用方法，具体如下如示。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值