1.概述
上一篇文章:【Flink】Flink合理使用CPU资源、CPU资源怎么设置
这个跟上个问题一样,并没有统一的设置,要看实际情况自行设置。
2.全局并行度
开发完成后,先进行压测。任务并行度给 10以下,测试单个并行度的处理上限。然后
总 QPS/单并行度的处理能力 =并行度
开发完 Flink 作业,压测的方式很简单,先在 kafka 中积压数据,之后开启 Flink 任务
出现反压,就是处理瓶颈。相当于水库先积水,一下子泄洪。
不能只从 QPS 去得出并行度,因为有些字段少、逻辑简单的任务,单并行度一秒处理
几万条数据。而有些数据字段多,处理逻辑复杂,单并行度一秒只能处理 1000 条数据。
最好根据高峰期的 QPS 压测,并行度*1.2倍
,富余一些资源。