Storm弹性计算:实时调整Topology并发数

原创 2013年12月05日 16:34:04

原创文章,如需转载,请注明出处:http://blog.csdn.net/jmppok/article/details/17143373


Storm计算以topology为单位,topology提交到Storm集群中运行后,通过storm rebalance 命令可对topology进行动态调整。比如增加Topology的worker数,修改Bolt,Spout的并行执行数量 parallelism等,从而实现topology的动态调整,达到弹性计算的目的。(当然调整时要配合监控模块)


可通过storm help rebalance 获取rebalance的帮助信息:

ligh@ubuntu:~/workspace/storm_drpc_test/bin$ storm help rebalance
Syntax: [storm rebalance topology-name [-w wait-time-secs] [-n new-num-workers] [-e component=parallelism]*]

    Sometimes you may wish to spread out where the workers for a topology 
    are running. For example, let's say you have a 10 node cluster running 
    4 workers per node, and then let's say you add another 10 nodes to 
    the cluster. You may wish to have Storm spread out the workers for the 
    running topology so that each node runs 2 workers. One way to do this 
    is to kill the topology and resubmit it, but Storm provides a "rebalance" 
    command that provides an easier way to do this.

    Rebalance will first deactivate the topology for the duration of the 
    message timeout (overridable with the -w flag) and then redistribute 
    the workers evenly around the cluster. The topology will then return to 
    its previous state of activation (so a deactivated topology will still 
    be deactivated and an activated topology will go back to being activated).
    
    The rebalance command can also be used to change the parallelism of a running topology.
    Use the -n and -e switches to change the number of workers or number of executors of a component
    respectively.
    

基本上主要有两种用法:

1) storm rebalance  topology-name -n   new-work-num,

  调整指定topology的worknum。

2)storm rebalance topology-name -e  component=parallelism

  调整指定topology中指定component的并行数量.

相关文章推荐

Storm_Storm 动态调优,并发度调整

Storm 动态平衡: Storm 里面有个动态调优的功能,可以通过Storm rebalance 进行 worker, executor 等数目的调整。 注意: 虽然此功能较好,但是可能会丢失数...

翻译:Storm Scalable ——Storm弹性计算

原文地址:http://storm-project.net/about/scalable.html,内容如下: Storm topologies are inherently parallel a...
  • jmppok
  • jmppok
  • 2013年12月05日 15:09
  • 1395

Storm rebalance原理及可靠性保证

1.rebalance原理 Storm可以在Topology运行过程中调整其并发度。其原理如下: 4. rebalancing (1) startup:将状态转换成do-rebalance (2) k...
  • jmppok
  • jmppok
  • 2013年12月10日 18:28
  • 3590

storm rebalance 命令调整topology并行数及问题分析

原创文章,欢迎转载.转载请注明出处: 通过前面的介绍,我们知道Storm可以实现弹性计算,根据需要实时调整Topology的并行度. 1)翻译:Storm Scalable ——Storm弹...
  • jmppok
  • jmppok
  • 2013年12月10日 14:48
  • 7386

实时分布式具备高容错性的计算系统storm------核心topology架构图和storm运行topology的工作流程图

文章来源:http://blog.csdn.net/yangbutao/article/details/8445630  hadoop一般用在离线的分析计算中,而storm区别于ha...

【流式计算】Twitter Storm源代码分析之Topology的执行过程

作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址: http://xumingming.sinaapp.com/647/twitte...

Storm 中Topology的并发度的理解 (1)

原文地址:http://www.cnblogs.com/fxjwind/archive/2013/05/04/3059514.html 英文地址:https://github.com/nathanm...
  • jmppok
  • jmppok
  • 2013年12月10日 14:57
  • 1756

Storm 中Topology的并发度的理解 (2)

原文地址:http://blog.csdn.net/derekjiang/article/details/9040243 主要思想来源于storm的项目页面: https://github.com...
  • jmppok
  • jmppok
  • 2013年12月10日 14:58
  • 1663

storm学习-Storm Topology的并发度(转)

转自:http://www.51studyit.com/html/notes/20140329/45.html 概念    一个Topology可以包含一个或多个worker(并行的跑...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Storm弹性计算:实时调整Topology并发数
举报原因:
原因补充:

(最多只允许输入30个字)