Storm环境配置及吞吐量测试调优总结

问题导读

1.本文集群环境是什么？

2.配置中worker和slot是什么关系？

3.吞吐量是如何测试的？

1、硬件配置信息

6台服务器，2个CPU，96G，6核，24线程

2、集群信息

Storm集群：1个nimbus，6个supervisor

nimbus：192.168.7.127

supervisor：

192.168.7.128

192.168.7.129

192.168.7.130

192.168.7.131

192.168.7.132

192.168.7.133

Zookeeper集群：

3个节点

192.168.7.127:2181, 192.168.7.128:2181, 192.168.7.129:2181

Kafka集群：

7个节点

192.168.7.127:9092

192.168.7.128:9092

192.168.7.129:9092

192.168.7.130:9092

192.168.7.131:9092

192.168.7.132:9092

192.168.7.133:9092

3、配置关系解析

按照服务器的硬件配置可以计算得到以下信息：

1、worker和slot的关系是一一对应的，一个worker占用一个slot。计算集群worker和slot数量一般以每个服务器的CPU线程数来计算。

如上面的环境就是