Spark 脚本分析

最新推荐文章于 2022-10-23 16:16:53 发布

一只小菜鸟(*￣︶￣)

最新推荐文章于 2022-10-23 16:16:53 发布

阅读量135

点赞数

分类专栏： Spark 文章标签： Spark Spark 脚本分析

本文链接：https://blog.csdn.net/mao502010435/article/details/89677601

版权

Spark 专栏收录该内容

20 篇文章 0 订阅

订阅专栏

[start-all.sh]
       sbin/spark-config.sh
       sbin/spark-master.sh       //启动master进程
       sbin/spark-slaves.sh //启动worker进程

   [start-master.sh]
       sbin/spark-config.sh
       org.apache.spark.deploy.master.Master
       spark-daemon.sh start org.apache.spark.deploy.master.Master --host --port --webui-port ...

   [spark-slaves.sh]
       sbin/spark-config.sh
       slaves.sh               //conf/slaves

   [slaves.sh]
       for conf/slaves{
           ssh host start-slave.sh ...
       }

   [start-slave.sh]
       CLASS="org.apache.spark.deploy.worker.Worker"
       sbin/spark-config.sh
       for (( .. )) ; do
           start_instance $(( 1 + $i )) "$@"
       done

   $>cd /soft/spark/sbin
   $>./stop-all.sh               //停掉整个spark集群.
   $>./start-master.sh           //启动master节点
   $>./start-slaves.sh           //启动所有worker节点