本文介绍了Storm集群的硬件配置，包括6台服务器，每个具有2个CPU和96GB内存。集群包含1个nimbus节点和6个supervisor节点。详细解析了worker与slot的关系，以及如何根据硬件配置计算它们的数量。测试了不同场景下spout和bolt的并发数对吞吐量的影响，展示了如何通过调整spout并发数、worker数量和Kafka partition数量来优化性能。最终得出结论，合理设置这些参数对storm吞吐量至关重要，并给出了实际测试结果。
问题导读
1.本文集群环境是什么？
2.配置中worker和slot是什么关系？
3.吞吐量是如何测试的？
1、硬件配置信息
6台服务器，2个CPU，96G，6核，24线程
Storm集群：1个nimbus，6个supervisor
nimbus：192.168.7.127
supervisor：
192.168.7.128
192.168.7.129
192.168.7.130
192.168.7.131
192.168.7.132
192.168.7.133
Zookeeper集群：
3个节点
192.168.7.127:2181, 192.168.7.128:2181, 192.168.7.129:2181
Kafka集群：
7个节点
192.168.7.127:9092
192.168.7.128:9092
192.168.7.129:9092
192.168.7.130:9092
192.168.7.131:9092
192.168.7.132:9092
192.168.7.133:9092
按照服务器的硬件配置可以计算得到以下信息：
1、worker和slot的关系是一一对应的，一个worker占用一个slot。计算集群worker和slot数量一般以每个服务器的CPU线程数来计算。
如上面的环境就是
最低0.47元/天 解锁文章
扫一扫
5515
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
