jmppok的专栏

网络连接世界 软件创造未来

翻译:Storm Scalable ——Storm弹性计算

原文地址:http://storm-project.net/about/scalable.html,内容如下:

Storm topologies are inherently parallel and run across a cluster of machines. Different parts of the topology can be scaled individually by tweaking their parallelism. The "rebalance" command of the "storm" command line client can adjust the parallelism of running topologies on the fly.

Storm's inherent parallelism means it can process very high throughputs of messages with very low latency. Storm was benchmarked at processingone million 100 byte messages per second per node on hardware with the following specs:

  • Processor: 2x Intel E5645@2.4Ghz
  • Memory: 24 GB

翻译:

Storm的topology天生就是在Strom集群中并行运行的,topology的每一部分(Spout,bolt)的并行度(同时有多少个程序并行执行)在运行时可以通过“rebalance”命令进行动态调整,即Storm的topology可以实现弹性计算。


strom具有高效的消息传递机制,在如下环境中可以实现每秒中向每个节点发送1000000条100字节大小的消息。

       处理器CPU:2x Intel E5645@2.4Ghz

       内存:24G



作者比较关心的是如何在运行时通过过“rebalance”命令进行动态调整topology的并行度,实现弹性计算。因为大家都知道:云集算的最大优势之一就是弹性计算。

关于这一点,后面会进行研究,感兴趣的可以继续关注。

Storm弹性计算:实时调整Topology并发数

阅读更多
个人分类: Big Data 分布式 storm
上一篇Linux下gcc编译, 控制动态库导出函数
下一篇Storm0.8.2新特性:topology隔离(Isolation Scheduler)
想对作者说点什么? 我来说一句

Storm集群搭建

2017年09月21日 35KB 下载

没有更多推荐了,返回首页

关闭
关闭