多分区对应一个消费组的多个pod时
1.消息发送会根据多个分区自动分配一个分组内的多个pod
-如果用单分区,则不用考虑多台机器同时消费的问题,能大大简化,但性能不高。
2.多pod同时消费,要考虑数据一致性问题,每个消息最好放入一个业务含义唯一的key
3.消费过程,重复-丢失,这两者是二选一的关系,这个一定要想明白。
4.一般选择可重复,不可丢失,利用唯一key,来防止重复消费时,产生的问题。
5.超时问题——为防止超时消费,自动commit无法触发,导致offset重置,一定要严格控制消费时间,或者放入其他线程,不阻塞。
6.手动commit模式:需要手动处理 数据丢失,数据重复
服务宕机后,消息堆积,疯狂消费导致再次崩溃
在充当消费者的服务出现问题宕机时,过段时间重启,会去消费之前大量堆积的消息,
该问题要考虑怎么平缓的处理,否则重启后,又会再次宕机。
问题:
1.有可能导致数据库连接池占满
2.有可能导致调用的其他服务,资源占满
解决方式:
控制消费的速度。