spark停止命令linux,linux – 在Spark sbin /文件夹中的stop-all.sh没有停止所有从属节点...

嗨我在独立模式下有一个Spark集群,即我的笔记本电脑中运行了一个Spark-master进程和三个Spark-slave进程(同一台机器中的Spark集群).

启动主服务器和从服务器只是运行Spark_Folder / sbin / start-master.sh和Spark_Folder / sbin / stop-master.sh中的脚本.

但是,当我运行Spark_Folder / sbin / stop-all.sh时,它只停止一个主服务器和一个服务器,因为我有三个从服务器正在运行,在运行stop-all.sh后我仍然有两个从服务器正在运行.

我深入研究了脚本“stop-slaves.sh”,发现如下：

if [ "$SPARK_WORKER_INSTANCES" = "" ]; then

"$sbin"/spark-daemons.sh stop org.apache.spark.deploy.worker.Worker 1

else

for ((i=0; i

"$sbin"/spark-daemons.sh stop org.apache.spark.deploy.worker.Worker $(( $i + 1 ))

done

fi

似乎此脚本基于“SPARK_WORKER_INSTANCES”号码停止.但是,如果我使用非数字名称启动奴隶怎么办？

还有什么想要通过一次点击关闭整个火花集群？ (我知道运行“pkill -f spark *”会起作用)

非常感谢.