Storm性能优化

原创 2016年11月28日 15:40:19

如何找到Topology的性能瓶颈?

性能优化的第一步就是找到瓶颈在哪里,从瓶颈处入手,解决关键点问题,事半功倍。

除了通过系统命令查看CPU使用,jstack查看堆栈的调用情况以外,还可以通过Storm自身提供的信息来对性能做出相应的判断。

在Storm 的UI中,对没过topology都提供了相应的统计信息,其中有三个参数对性能来说参考意义比较明显,包括Execute latency,Process latencyCapacity

分别看一下三个参数的含义哈!

·Execute latency:消息的平均处理时间,单位是毫秒。

·Process latency:消息从收到到被ack掉所花费的时间,单位为毫秒。如果没有启用Acker机制,那么Process latency的值为0。

·Capacity:计算公式为Capacity = Bolt 或者 Executor 调用 execute 方法处理的消息数量 × 消息平均执行时间/时间区间。如果这个值越接近1,说明Bolt或者 Executor 基本一直在调用 execute 方法,因此并行度不够,需要扩展这个组件的 Executor数量

Execute latency,Process latency是处理消息的时效性,而Capacity则表示处理能力是否已经饱和。从这3个参数可以知道Topology的瓶颈所在。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Storm 性能优化

最近学习storm,本文是转自同事分享的内容: 场景假设 在介绍 Storm 的性能调优方法之前,假设一个场景: 项目组部署了3台机器,计划运行且仅运行 Storm(1.0.1) + Kafka...
  • hzk_wen
  • hzk_wen
  • 2016年11月13日 23:19
  • 4080

Storm 使用经验与性能优化(二)

Storm 使用经验 性能优化

Storm性能优化

原文:http://www.jianshu.com/p/f645eb7944b0 目录 场景假设调优步骤和方法Storm 的部分特性Storm 并行度Storm 消息机制Storm UI 解析性...

Storm 并行度分配原理及优化

当一个topology在storm cluster中运行时,它的并发主要跟3个逻辑对象相关:worker,executor 和task 1. Worker 是运行在工作节点上面,被Supervis...

storm ui 中一些关键属性的含义

Storm UI对于排查storm使用过程中遇到的问题会很有帮助,但是有些属性的含义不是很明确,虽然都是很简单的概念,如果不知道的话也会很难受。 先说一点,鼠标只到UI上的标题栏时,是可以看到这一属性...
  • lcy362
  • lcy362
  • 2015年11月06日 21:44
  • 897

Storm+Redis性能优化问题

结合自己的开发及调试经历,总结一下经验教训。 提升 Storm Topology的性能,不能只关注提高进程(worker)及线程(executor: spout/bolt)并发度, 也要注意是否有外部...

Storm_Storm 动态调优,并发度调整

Storm 动态平衡: Storm 里面有个动态调优的功能,可以通过Storm rebalance 进行 worker, executor 等数目的调整。 注意: 虽然此功能较好,但是可能会丢失数...

Storm_Storm worker 内存占用调优

Storm 正真工作的节点是 worker 节点,所以在做调优的时候我们一般会对 Storm  worker 的内存占用进行调整. 默认情况下,Storm启动worker进程时,JVM的最大...

Storm调优(optimiaze)

在充分了解节点计算机硬件资源的情况下进行Storm运行性能的调优。 Storm运行性能调优主要是从以下几个方面: (1)代码层面,这得看程序编写者的功力了。 (2)并行度层面,分为: setNumWo...

Storm UI

Storm UI 本文主要解释下storm ui上各项属性的含义。 1. mainpage     首页主要分为3块:     a. Cluster Summary     Nimbus...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Storm性能优化
举报原因:
原因补充:

(最多只允许输入30个字)