spark worker 自动停止么 ?

[zk: localhost:2181(CONNECTED) 7] quit 
Quitting...
2016-06-12 18:10:29,234 [myid:] - INFO  [main-EventThread:ClientCnxn$EventThread@512] - EventThread shut down
2016-06-12 18:10:29,234 [myid:] - INFO  [main:ZooKeeper@684] - Session: 0x15547453b750000 closed
[root@name01 bin]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: standalone
[root@name01 bin]# jps
18433 Master
17602 DataNode
17926 ResourceManager
26249 Jps
17513 NameNode
19322 SparkSubmit
17724 SecondaryNameNode
26062 QuorumPeerMain
18015 NodeManager
[root@name01 bin]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: standalone
[root@name01 bin]# zkServer.sh stop
JMX enabled by default
Using config: /usr/local/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
[root@name01 bin]# jps
18433 Master
17602 DataNode
17926 ResourceManager
17513 NameNode
19322 SparkSubmit
17724 SecondaryNameNode
26302 Jps
18015 NodeManager
[root@name01 bin]# 

[root@name01 spark-1.4.0]# pwd
/usr/local/spark/spark-1.4.0
[root@name01 spark-1.4.0]# ls -l
total 680
drwxr-xr-x 2 hadoop hadoop   4096 Jun  2  2015 bin
-rw-r--r-- 1 hadoop hadoop 561149 Jun  2  2015 CHANGES.txt
drwxr-xr-x 2 hadoop hadoop   4096 Jun 10 21:38 conf
drwxr-xr-x 3 hadoop hadoop   4096 Jun 11 05:12 data
drwxr-xr-x 3 hadoop hadoop   4096 Jun  2  2015 ec2
drwxr-xr-x 3 hadoop hadoop   4096 Jun  2  2015 examples
drwxr-xr-x 2 hadoop hadoop   4096 Jun  2  2015 lib
-rw-r--r-- 1 hadoop hadoop  50902 Jun  2  2015 LICENSE
drwxr-xr-x 2 root   root     4096 Jun 12 05:37 logs
drwxr-xr-x 2 root   root     4096 Jun 11 00:35 lyc_test
-rw-r--r-- 1 hadoop hadoop  22559 Jun  2  2015 NOTICE
drwxr-xr-x 6 hadoop hadoop   4096 Jun  2  2015 python
drwxr-xr-x 3 hadoop hadoop   4096 Jun  2  2015 R
-rw-r--r-- 1 hadoop hadoop   3624 Jun  2  2015 README.md
-rw-r--r-- 1 hadoop hadoop    134 Jun  2  2015 RELEASE
drwxr-xr-x 2 hadoop hadoop   4096 Jun 10 21:53 sbin
drwxr-xr-x 2 root   root     4096 Jun 10 21:50 work
[root@name01 spark-1.4.0]# start-all.sh
org.apache.spark.deploy.master.Master running as process 18433.  Stop it first.
localhost: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/spark-1.4.0/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-name01.out
[root@name01 spark-1.4.0]# jps
18433 Master
17602 DataNode
17926 ResourceManager
17513 NameNode
19322 SparkSubmit
26508 Worker
17724 SecondaryNameNode
26558 Jps
18015 NodeManager
[root@name01 spark-1.4.0]# 



Apache Spark是一个快速、通用、可扩展的大数据处理框架。在Spark中,Worker节点是用来执行任务的工作节点。Spark集群中Worker的数量是由以下几个因素决定的: 1. 集群资源:Worker的数量通常依赖于可用的硬件资源,比如CPU核心数和内存大小。集群的总资源被划分为多个Worker,每个Worker会分配到一定数量的CPU核心和内存。 2. 应用程序需求:根据运行在Spark上的应用程序的需求来决定Worker数量。如果应用需要处理大量的并行任务,则可能需要更多的Worker来提供足够的计算资源。 3. 并行度:Spark作业的并行度(即任务的个数)也会影响到Worker的数量。如果任务的并行度很高,则可能需要增加Worker的数量以提高任务的并发执行能力。 4. 集群管理器:Spark可以运行在不同的集群管理器上,如Standalone模式、Mesos、Hadoop YARN或Kubernetes。不同管理器对于资源的分配和调度机制不同,这会影响到Worker的配置和数量。 5. 资源调度策略:集群管理器的资源调度策略也会影响Worker的数量。例如,在YARN上,可以通过配置资源队列来控制不同作业的资源分配,从而间接影响Worker的数量和资源分配。 6. 高可用性:如果需要保证Spark集群的高可用性,可能需要配置额外的Worker作为备份,以防主节点出现故障。 通常情况下,SparkWorker数量是根据集群的硬件配置和预期的工作负载动态确定的。在一些集群管理器中,Worker的数量可以通过配置文件或者API进行设置。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

5icode.top

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值