Storm弹性计算:实时调整Topology并发数

原创 2013年12月05日 16:34:04

原创文章,如需转载,请注明出处:http://blog.csdn.net/jmppok/article/details/17143373


Storm计算以topology为单位,topology提交到Storm集群中运行后,通过storm rebalance 命令可对topology进行动态调整。比如增加Topology的worker数,修改Bolt,Spout的并行执行数量 parallelism等,从而实现topology的动态调整,达到弹性计算的目的。(当然调整时要配合监控模块)


可通过storm help rebalance 获取rebalance的帮助信息:

ligh@ubuntu:~/workspace/storm_drpc_test/bin$ storm help rebalance
Syntax: [storm rebalance topology-name [-w wait-time-secs] [-n new-num-workers] [-e component=parallelism]*]

    Sometimes you may wish to spread out where the workers for a topology 
    are running. For example, let's say you have a 10 node cluster running 
    4 workers per node, and then let's say you add another 10 nodes to 
    the cluster. You may wish to have Storm spread out the workers for the 
    running topology so that each node runs 2 workers. One way to do this 
    is to kill the topology and resubmit it, but Storm provides a "rebalance" 
    command that provides an easier way to do this.

    Rebalance will first deactivate the topology for the duration of the 
    message timeout (overridable with the -w flag) and then redistribute 
    the workers evenly around the cluster. The topology will then return to 
    its previous state of activation (so a deactivated topology will still 
    be deactivated and an activated topology will go back to being activated).
    
    The rebalance command can also be used to change the parallelism of a running topology.
    Use the -n and -e switches to change the number of workers or number of executors of a component
    respectively.
    

基本上主要有两种用法:

1) storm rebalance  topology-name -n   new-work-num,

  调整指定topology的worknum。

2)storm rebalance topology-name -e  component=parallelism

  调整指定topology中指定component的并行数量.

storm rebalance 命令调整topology并行数及问题分析

原创文章,欢迎转载.转载请注明出处: 通过前面的介绍,我们知道Storm可以实现弹性计算,根据需要实时调整Topology的并行度. 1)翻译:Storm Scalable ——Storm弹...
  • jmppok
  • jmppok
  • 2013年12月10日 14:48
  • 7703

理解Storm Topology的并发机制

运行时topology的组成:worker processes、executors(执行者线程)以及tasks Storm区分了以下三个主要的实体并用来在Storm集群上运行起一个topology:...
  • qq403977698
  • qq403977698
  • 2015年10月14日 14:26
  • 1124

Storm rebalance原理及可靠性保证

1.rebalance原理 Storm可以在Topology运行过程中调整其并发度。其原理如下: 4. rebalancing (1) startup:将状态转换成do-rebalance (2) k...
  • jmppok
  • jmppok
  • 2013年12月10日 18:28
  • 3750

Storm调优(optimiaze)

在充分了解节点计算机硬件资源的情况下进行Storm运行性能的调优。 Storm运行性能调优主要是从以下几个方面: (1)代码层面,这得看程序编写者的功力了。 (2)并行度层面,分为: setNumWo...
  • u013063153
  • u013063153
  • 2017年07月03日 11:19
  • 264

(2)Storm实时日志分析实战--Topology的设计

需求日志数据样例: 215.187.202.215 - - [1481945172991] “GET/IBEIfeng.gif?order_id=1&orderTime=1481945172991...
  • fjse51
  • fjse51
  • 2016年12月26日 15:26
  • 1044

Storm简介及计算模型

Storm概述 Storm是一个开源的分布式实时流式计算系统 特点: -分布式:水平扩展,自动容错 -实时:低延迟(毫秒级) -流式:数据不间断流入、流出 -DAG:Spout Bolt组...
  • woshiwanxin102213
  • woshiwanxin102213
  • 2015年08月13日 17:34
  • 1100

storm rebalance 命令调整topology并行数及问题分析

1.概述 通过前面的介绍,我们知道Storm可以实现弹性计算,根据需要实时调整Topology的并行度. 参考:  1)翻译:Storm Scalable ——Storm弹性...
  • senvil
  • senvil
  • 2015年10月04日 09:19
  • 202

storm常见命令详解

storm常见命令如下:
  • Rong_89
  • Rong_89
  • 2014年09月30日 15:41
  • 1008

使用Storm实现实时大数据分析

摘要:随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视,为我们演示了使用Sto...
  • xiaomin1991222
  • xiaomin1991222
  • 2016年03月10日 16:05
  • 1288

Storm的常见模式---求TOPN

转载:http://my.oschina.net/infiniteSpace/blog/309784参考了storm-starter和很多网上的例子。 总共需要三个bolt://bolt1,负责实时...
  • gl328518397
  • gl328518397
  • 2015年11月06日 10:36
  • 1030
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Storm弹性计算:实时调整Topology并发数
举报原因:
原因补充:

(最多只允许输入30个字)