Storm 调优

2019独角兽企业重金招聘Python工程师标准>>>

1、storm反压问题
反压问题 在storm1.0以前 只有ack模式才能通过配置   Spout tuples 不使用message id， TOPOLOGY_MAX_SPOUT_PENDING是不生效的。

反压不成熟带来的问题
fieldsGrouping不合理或者洪峰流量，bolt接收队列暴涨导致OOM，完善反压后可以解决这个问题

topology.backpressure.enable: false
backpressure.disruptor.high.watermark: 0.9
backpressure.disruptor.low.watermark: 0.4

2、分组问题

分组同流分组filedgroup、本地或者随机localOrShuffleGrouping好处是先本地后随机    

3、如果不需要ack就把ack关闭

conf.setNumAckers(0);

4、并行度

建议

worker ： executor = 1: 10-15

5、一个 topology 12个worker最合理，过多容易导致内存通信变为进程间通信

6、Jvm GC 需要使用CMS GC 方式， JStorm默认已经设置， 使用Storm的朋友需要类似的设置

worker.childopts: "-Xms1g -Xmx1g -Xmn378m -XX:SurvivorRatio=2 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=65"

7、推荐slot数为 ”CPU 核 - 1“， 假设24核CPU， 则slot为23

8、nimbus节点上建议不运行supervisor， 并建议把nimbus放置到ZK 所在的机器上运行

9、选型

按照性能来说， trident < transaction < 使用ack机制普通接口 < 关掉ack机制的普通接口， 因此，首先要权衡一下应该选用什么方式来完成任务。

转载于:https://my.oschina.net/chuibilong/blog/804257