如何避免jps中一大堆spark-submit+Spark交互模式启动速度+正确的退出spark-shell/pyspark/SparkR/hbase的习惯

最新推荐文章于 2023-04-01 11:46:08 发布
最新推荐文章于 2023-04-01 11:46:08 发布
阅读量1.2k 收藏 1
点赞数 1
分类专栏： PySpark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/appleyuchi/article/details/105931998
版权

如果经常强制退出交互模式，那么jps中就会有一大堆的submit

大概是因为纯面向对象语言的关系，交互式模式不支持Java.

启动交互式模式的命令所属大数据组件启动速度编程语言退出命令
spark-shell --master yarnSpark磨蹭scalascala> :q
pyspark --master yarnSpark最慢python>>> quit()
sparkR --master yarnSpark最快R> quit()
beelineHive  >!q
hbase shellHbase  hbase(main):006:0> exit
$ZOOKEEPER/bin/zkCli.sh -server master:2181Zookeeper  quit

 

 

spark-shell在streaming运行后如何正确退出呢?

快速按几次回车键，然后输入:q后回车即可，如下:

scala>:q(按下回车键)

如何关闭spark
m0_64950767的博客
04-18 5233
1.关闭pyspark exit() 2.关闭spark 进入以下目录：/usr/local/softwares/spark-2.3.2-bin-hadoop2.7/sbin 执行以下命令，关闭spark： ./stop-all.sh 3.关闭hadoop 进入以下目录：/usr/local/softwares/hadoop-2.7.2/sbin 执行以下命令，关闭hadoop： ./stop-all.sh ...
大数据技术之Spark入门（二）Spark运行模式
大数据Spark教程
12-20 415
2.1 Spark安装地址 1．官网地址 http://spark.apache.org/ 2．文档查看地址 https://spark.apache.org/docs/2.1.1/ 3．下载地址 https://spark.apache.org/downloads.html 2.2 重要角色 2.2.1 Driver（驱动器） Spark的驱动器是执行开发程序中的main方法的...
kill不掉 spark-submit
微电子学与固体电子学-俞驰
05-01 2142
kill -9以及pkill命令都不行， 目前能想到的就是注销后再登录 为了让spark-submit在提交任务后自己退出，在$SPARK_HOME/conf/spark-defaults.conf中加入: spark.yarn.submit.waitAppCompletion = false ...
定时 关闭Spark-Submit ,Kafka
dymkkj的专栏
07-12 1259
 一.spark-submitvim stopSparksubmit.sh#! /bin/basha=0while  true do#SparkSubmitid=`/usr/jdk8/bin/jps  | /bin/grep -v grep | /bin/grep SparkSubmit | /usr/bin/cut  -d " " -f 1`SparkSubmitid=`/usr/jdk8/bi...
【Spark1.3官方翻译】 Spark Submit提交应用程序
静下心来好好学习
04-07 4002
英文标题：Submitting Applications 英文原址：http://spark.apache.org/docs/latest/submitting-applications.html Spark Version:1.3.0        Spark根目录的bin目录下spark-submit脚本用于在集群上启动应用程序，它通过统一接口使用Spark所支持的所有集群管理器，因
大数据-计算引擎-Spark（二）：Spark安装与配置【Local模式、Standalone模式、Yarn模式】
u013250861的博客
01-30 674
大数据-计算引擎：Spark安装与配置【Local模式】
大数据技术之(一) Spark-Core
痞子磊的博客
07-07 1124
第1章 Spark 概述 1.Spark是什么 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 2.Spark and Hadoop 在之前的学习中，Hadoop 的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架 Spark 呢，这里就不得不提到Spark 和Hadoop 的关系。 首先从时间节点上来看: Hadoop 2006 年 1 月，Doug Cutting 加入Yahoo，领导Hadoop 的开发 2008 年 ..
Spark大数据处理讲课笔记2.2 搭建Spark开发环境
ZYF2190003497的博客
04-01 285
转化操作会由一个RDD 生成一个新的RDD。另一方面，行动操作会对RDD 计算出一个结果，并把结果返回到驱动器程序中，或把结果存储到外部存储系统（如HDFS）中。：Spark 3.3.2使用的Scala版本其实是2.12.15。创建出来后，RDD 支持两种类型的操作： 转化操作（计算1 + 2 + 3 + ……例2、调用转化操作filter()利用print函数输出了一条信息。例3、调用行动操作first()就会报错，目前没有解决问题。在pyspark里完成。例1、创建一个RDD。
关于spark中spark-submit和spark-shell简介
mo
11-13 648
spark-submit： 1.它主要是用于提交编译并打包好的Jar包到集群环境中来运行，和hadoop中的hadoop jar命令很类似，hadoop jar是提交一个MR-task,而spark-submit是提交一个spark任务，这个脚本**可以设置Spark类路径（classpath）和应用程序依赖包，并且可以设置不同的Spark所支持的集群管理和部署模式。**相对于spark-shell来讲它不具有REPL(交互式的编程环境)的，在运行前需要指定应用的启动类，jar包路径,参数等内容。 2.基
如何在提交spark程序之后退出spark-submit
Lestat.Z.的博客
05-08 6122
前言 有时候需要在将spark程序提交到集群之后，退出spark-submit进程，那么该如果实现呢？ 解决方法 方法很简单，可以通过在使用spark-submit时设置--conf spark.yarn.submit.waitAppCompletion = false来实现。 这样，客户端将在成功提交spark程序申请后将会自动退出。 在集群模式下，Spark驱动程序在Application ...
王权富贵：Linux退出交互模式，windows的cmd中退出Python的交互模式
a1103688841的博客
11-15 1396
参考文章: https://blog.csdn.net/l2014204559/article/details/80810938 cmd中如何退出Python 在命令行上输入exit() 在命令行上输入quit() 命令行上输入Ctrl+Z，再按回车， Linux中退出交互模式 ctrl+d ctrl+c ...
关于spark-submit的一些笔记
Jason_yyz的博客
05-20 296
在配置完saprk之后，在cmd下运行spark-submit --help查看出现以下内容：其中常用的有：--class: 主函数所在的类。--master: master的url--deploy-mode: 部署driver在本地还是集群的一个work节点上--conf: 用 key=value形式指定参数application-jar: jar包的路径application-argument...
Apache Spark技术实战之6 -- spark-submit常见问题及其解决
weixin_33909059的博客
10-26 479
除本人同意外，严禁一切转载，徽沪一郎。 概要 编写了独立运行的Spark Application之后，需要将其提交到Spark Cluster中运行，一般会采用spark-submit来进行应用的提交，在使用spark-submit的过程中，有哪些事情需要注意的呢？ 本文试就此做一个小小的总结。 spark-defaults.conf Spark-defaults.conf的作用范围要搞...
如何kill掉Ubuntu的僵死进程
大头皮鞋的博客
05-18 2985
做spark应用时，每提交一个应用就会多出sparksubmit进程 $ jps 3552 SparkSubmit 2164 SparkSubmit 3223 SparkSubmit 5358 Jps 当我们想kill掉这个进程时， $ kill -9 3552 $ kill -9 2164 $ kill -9 3223 再次用jps查看进程，发现SparkSubmit进程杀不掉 ...
hive-------32
mangguoyang的博客
05-22 340
        Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称Hive SQL,使不熟悉mapreduce的用户很方便的利用SQL语言查询，...
Spark之作业提交
shufangreal的博客
05-18 211
Spark之作业提交 Spark常见的集群管理器有： K8s 、Mesos、Yarn、StandAlone # 本地模式 ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master local[8] \ /path/to/examples.jar \ 100 # standalone集群-客户端模式 ./bin/spark-submit \ --class org.apache.spark.ex
spark模式
猪布凡的博客
03-15 234
spark运行模式 local，standalone，yarn，mesos，k8s。 local模式设置master local：所有计算都在一个线程，没有并行计算。 local【k】：指定用几个线程计算。 local[*]：以cpu最多core设置线程数量。 local模式简单，解压jar包，直接复制demo即可。 参数解释： -–executor-memory 10G 每个worker/executor都会分配10G --master local【3】 ...
Spark环境搭建
weixin_34055787的博客
09-19 67
2019独角兽企业重金招聘Python工程师标准>>> ...
./bin/spark-shell --master spark://hadoop01:7077报错
最新发布
09-01
当我们执行./bin/spark-shell --master spark://hadoop01:7077命令时，如果出现错误，可能有以下几个原因： 1. Hadoop01主机不可用：首先，我们需要确保Hadoop01主机是可用的，即可以通过网络连接到该主机。可以尝试使用ping命令来测试主机的可用性，如果无法ping通，可能是网络连接故障或主机不可访问。 2. Spark主节点未启动：该错误可能是因为Spark主节点未正确启动所导致的。可以使用命令jps来检查Spark主节点的进程是否在运行中，如果没有显示Spark主节点的进程，则需要启动Spark主节点。 3. Master URL错误：在--master参数后给出的spark://hadoop01:7077是Spark主节点的URL地址。如果Spark主节点的地址是其他的，或者端口号不是7077，则需要将该地址和端口号正确设置。 4. 防火墙阻止连接：有时防火墙可能会阻止Spark主节点和Spark Shell之间的连接。可以尝试关闭防火墙或允许Spark主节点和Spark Shell之间的通信。 综上所述，报错原因可能是主机不可用、Spark主节点未启动、Master URL错误或防火墙阻止连接。我们可以通过检查主机可用性、启动Spark主节点、检查Master URL设置和防火墙配置来解决该问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值