spark 提交submit任务的shell脚本

最新推荐文章于 2024-07-08 15:09:49 发布
最新推荐文章于 2024-07-08 15:09:49 发布
阅读量2.2k 收藏
点赞数
分类专栏： ambari集群 spark select语句的过滤 大数据 文章标签： spark sql shell脚本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41919284/article/details/88735401
版权
大数据 同时被 3 个专栏收录
28 篇文章 0 订阅
订阅专栏
ambari集群
7 篇文章 0 订阅
订阅专栏
spark
6 篇文章 0 订阅
订阅专栏

sudo -u hdfs /usr/hdp/2.6.5.0-292/spark2/bin/spark-submit
–master yarn
–deploy-mode cluster
–driver-cores 1
–driver-memory 2g
–num-executors 3
–executor-memory 1g
–executor-cores 1
–class main.scala.controllers.test.TestDealData
–conf spark.default.parallelism=9
–conf spark.storage.memoryFraction=0.4
–conf spark.shuffle.memoryFraction=0.4
/bigdata/app_jars/bigdataCount.jar

光圈1001
关注
专栏目录
Spark-submit脚本说明
quanquan_2012的博客
07-06 1698
    在spark开发中会遇到spark-submit脚本的编写，作为小白的我就在这里对spark-submit进行简单的说明。    vi wordcount.sh        /usr/local/spark/bin/spark-submit \        --class cn.spark.study.core.wordCountCluster \        --num-execu...
spark提交python程序_Spark任务提交(Spark Submit)
weixin_39728544的博客
12-10 2136
Spark-Submit简介spark-submit脚本用于在集群上启动应用程序,它位于Spark的bin目录中。这种启动方式可以通过统一的界面使用所有的Spark支持的集群管理功能，因此您不必为每个应用程序专门配置应用程序。绑定应用程序的依赖关系如果您的代码依赖于其他项目，则需要将它们与应用程序一起打包，才能将代码分发到Spark群集。为此，请创建一个包含代码及其依赖关系的程序集jar(或“ub...
Spark-shell批量命令执行脚本的方法
09-15
今天小编就为大家分享一篇Spark-shell批量命令执行脚本的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Spark shell脚本
漫游学海之旅
10-20 1231
启动终端，cd 到 SPARK_HOME/  路径下运行命令          $ ./bin/spark-shell
11 个例子讲清spark提交命令参数
最新发布
一个8年大数据开发工程师的碎碎念
07-08 2682
Apache Spark 提供了丰富的参数配置选项，以适应不同的部署环境、优化性能和管理资源。这些参数涵盖了从基本的集群设置（如 --master 和 --deploy-mode）到高级的资源分配（如 --executor-memory 和 --num-executors）。Spark 的参数多样性使其能够在各种场景下灵活调整，包括动态资源分配、GPU 支持和自定义日志配置等高级功能。有效的参数调整需要深入了解集群资源、工作负载特性，并遵循最佳实践。
spark sql脚本
weixin_41228362的博客
10-28 4390
############## # 客户基本属性模型表脚本开发 ############## #!/bin/sh yesterday=`date -d '-1 day' "+%Y-%m-%d"` if [ $1 ];then yesterday=$1 fi SPARK_SUBMIT_INFO="/var/local/spark/bin/spark-sql --master spark:/...
spark的脚本提交参数
u010569893的博客
01-30 831
spark提交参数以及参数解读
shell spark-submit提交之后获取appid，并在程序中扫描状态
huangrunxing的专栏
06-16 2058
#首先看一下提交脚本 #/sbin/bash /opt/cloudera/parcels/SPARK2/bin/spark2-submit \ export JAVA_HOME=/opt/jdk1.8.0_31 TASK_TYPE=$1 TASK_JSON=$2 SPARK_CONFIG=$3 appId=` $SPARK_CONFIG \ "$TASK_JSON" \ $TASK_TYPE \ 2>&1 | tee /dev/tty | grep -i "Submitting applic
【spark床头书系列】spark-shell 任务提交任务参数选项说明示例源码权威详解
wang2leee的博客
11-27 1186
spark-shell 任务提交任务参数选项说明示例源码详解
spark：spark-submit 提交任务及参数说明（yarn）
热门推荐
不花的花和尚的博客
02-02 1万+
spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。 ./bin/spark-submit \ --master spark://localhost:7077 \ examples/src/main/python/pi.py 如果...
spark-submit 与 spark-shell 介绍
a1786742005的博客
03-15 2002
一、spark-submit 介绍 1、spark-submit 介绍 程序一旦打包好，就可以使用 bin/spark-submit 脚本启动应用了。这个脚本负责设置 spark 使用的 classpath 和依赖，支持不同类型的集群管理器和发布模式。 2、运行方式 ./bin/spark-submit \ --class <main-class> --master <m...
crontab shell调用spark-sql，实现周期性动态SQL批量自动执行.rar
12-18
对于熟悉Scala开发的人来说，对于spark-sql的使用，直接jar包中写入代码处理就能轻松实现动态语句的执行。 但是对于我，不打算学习Scala和Java语言，但是又想定时执行时间推延的周期、定时任务，该肿么办？ spark-sql CLI几个参数，完全满足我等非专业人员。
spark任务提交流程
weixin_33849942的博客
11-05 126
这个是我在网上搬的： 原博客地址为：https://blog.csdn.net/xwc35047/article/details/78732738 上图是client以spark-submit形式提交作业后，从作业DAG划分、stage提交、taskSet提交，到task执行过程。步骤图上已经画出来，这里描述一下。 client submit作业，通过反射invoke执行用户代码main...
spark-submit提交的shell脚本
xubc的大数据笔记
02-09 8732
spark-submit向yarn提交application的脚本，包括spark参数、环境变量、应用程序参数传入 #!/bin/bash source ~/.bash_profile APP_HOME=/home/data_user/recommend echo $APP_HOME ###################### etl候选集和浏览数据集 #################
浅谈Spark几种不同的任务提交相关脚本（以Spark 1.5.0为例）
摇摆少年梦的技术博客
09-30 8673
本节主要内容 spark-shell spark-submit spark-sql spark-class 总结 1. spark-shellspark-shell脚本文件内容如下：#!/usr/bin/env bash# # Licensed to the Apache Software Foundation (ASF) under one or more # contributor licens
Spark 源码阅读（5）——Spark-submit任务提交流程
Tomorrow never comes
03-18 1067
任务提交后执行前的逻辑：client端：1、spark-submit脚本提交任务，会通过反射的方式调用到我们自己提交的类的main方法2、执行我们自己代码中的new SparkContext    2.1、创建actorSystem    2.2、创建TaskSchedulerImpl 任务分发的类    2.3、创建SparkDeploySchedulerBackend 调度任务    2.4、...
Spark-submit提交任务，封装shell脚本，shell脚本创建HBase表，批量导hive表
m0_46168848的博客
12-17 794
Spark-submit提交任务，封装shell脚本，shell脚本创建HBase表，批量导hive表
spark的shell脚本分析
eyeofeagle的博客
10-14 1326
bin目录： spark-shell, spark-submit sbin目录： part1: bin目录 spark-shell function main() { export SPARK_SUBMIT_OPTS &amp;amp;amp;amp;amp;amp;amp;amp;quot;${SPARK_HOME}&amp;amp;amp;amp;amp;amp;amp;amp;quot;/bin/spark-submit --class org.apache.spa
spark任务shell运行_基于sparksql调用shell脚本运行SQL
weixin_30856391的博客
01-17 990
[Author]: kwu基于sparksql调用shell脚本运行SQL，sparksql提供了类似hive中的 -e , -f ,-i的选项1、定时调用脚本#!/bin/sh# upload logs to hdfsyesterday=`date --date=‘1 days ago‘ +%Y%m%d`/opt/modules/spark/bin/spark-sql -i /opt/bin/...
liunx 定时任务通过shell脚本调用不到spark-submit
06-02
这可能是因为你的Shell脚本没有正确设置环境变量或者没有包含正确的路径信息。在Shell脚本中，可以使用`source`命令来加载环境变量文件，或者使用绝对路径来调用`spark-submit`命令。 另外，还需要确保你的Shell脚本有执行权限。你可以使用`chmod`命令来为Shell脚本添加执行权限。例如： ``` chmod +x your_script.sh ``` 最后，你可以在Shell脚本中添加一些日志输出语句，以便查看执行过程中出现的错误信息。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值