Storm性能优化

原创 2016年11月28日 15:40:19

如何找到Topology的性能瓶颈?

性能优化的第一步就是找到瓶颈在哪里,从瓶颈处入手,解决关键点问题,事半功倍。

除了通过系统命令查看CPU使用,jstack查看堆栈的调用情况以外,还可以通过Storm自身提供的信息来对性能做出相应的判断。

在Storm 的UI中,对没过topology都提供了相应的统计信息,其中有三个参数对性能来说参考意义比较明显,包括Execute latency,Process latencyCapacity

分别看一下三个参数的含义哈!

·Execute latency:消息的平均处理时间,单位是毫秒。

·Process latency:消息从收到到被ack掉所花费的时间,单位为毫秒。如果没有启用Acker机制,那么Process latency的值为0。

·Capacity:计算公式为Capacity = Bolt 或者 Executor 调用 execute 方法处理的消息数量 × 消息平均执行时间/时间区间。如果这个值越接近1,说明Bolt或者 Executor 基本一直在调用 execute 方法,因此并行度不够,需要扩展这个组件的 Executor数量

Execute latency,Process latency是处理消息的时效性,而Capacity则表示处理能力是否已经饱和。从这3个参数可以知道Topology的瓶颈所在。

版权声明:本文为博主原创文章,未经博主允许不得转载。

Storm 使用经验与性能优化(二)

Storm 使用经验 性能优化
  • u011317245
  • u011317245
  • 2016年09月27日 10:36
  • 1406

Storm 性能优化

最近学习storm,本文是转自同事分享的内容: 场景假设 在介绍 Storm 的性能调优方法之前,假设一个场景: 项目组部署了3台机器,计划运行且仅运行 Storm(1.0.1) + Kafka...
  • hzk_wen
  • hzk_wen
  • 2016年11月13日 23:19
  • 4792

Storm 并行度分配原理及优化

当一个topology在storm cluster中运行时,它的并发主要跟3个逻辑对象相关:worker,executor 和task 1. Worker 是运行在工作节点上面,被Supervis...
  • asdfsadfasdfsa
  • asdfsadfasdfsa
  • 2017年03月01日 10:35
  • 956

Storm Topology 一种优化思路

原文:https://my.oschina.net/jerrysearch/blog/201373 谈谈分布式环境一种优化storm topology的思路,肯定不是优化包含的全部,但一定是其中...
  • u013063153
  • u013063153
  • 2017年06月28日 11:18
  • 179

storm详解与调优

Storm 性能优化  原文地址:http://www.jianshu.com/p/f645eb7944b0 目录 场景假设调优步骤和方法Storm 的部分特性Storm 并行度...
  • ZYC88888
  • ZYC88888
  • 2017年11月12日 14:32
  • 208

storm-优化总结

目录 场景假设 调优步骤和方法 Storm 的部分特性 Storm 并行度 Storm 消息机制 Storm UI 解析 性能优化 场景假设 在介绍 ...
  • timeonlyone009
  • timeonlyone009
  • 2017年11月21日 10:40
  • 253

storm并行度优化

在storm的流计算框架中,在数据量非常大或者计算逻辑比较复杂的情况下,可能会造成处理速度变慢的情况,最后反而不满足了系统的处理要求,因此这里讨论一下。本文的内容是我在storm的使用过程中所得到的一...
  • asdfsadfasdfsa
  • asdfsadfasdfsa
  • 2017年04月07日 19:40
  • 269

Storm性能优化

原文:http://www.jianshu.com/p/f645eb7944b0 目录 场景假设调优步骤和方法Storm 的部分特性Storm 并行度Storm 消息机制Storm UI 解析性...
  • u013063153
  • u013063153
  • 2017年06月28日 10:38
  • 364

Storm_Storm 动态调优,并发度调整

Storm 动态平衡: Storm 里面有个动态调优的功能,可以通过Storm rebalance 进行 worker, executor 等数目的调整。 注意: 虽然此功能较好,但是可能会丢失数...
  • u010003835
  • u010003835
  • 2016年12月13日 11:19
  • 1018

latencytop深度了解你的Linux系统的延迟

原创文章,转载请注明: 转载自系统技术非业余研究 本文链接地址: latencytop深度了解你的Linux系统的延迟 我们在系统调优或者定位问题的时候,经常会发现多线程程序的效率...
  • samssm
  • samssm
  • 2016年03月14日 10:18
  • 981
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Storm性能优化
举报原因:
原因补充:

(最多只允许输入30个字)