kafka限流导致spark写异常

背景

最近上线一个业务，大量数据从hive加工后，写入kaka。

规模：200+任务

spark任务并发数量：30

每个spark任务vocres：20

运行一段时间后，抛出异常

Caused by: org.apache.kafka.common.errors.TimeoutException: Expiring 77 record(s) for gcof-crm-sparkuserattrdata-live-ph-14:120001 ms has passed since batch creation

分析

kafka参数

根据异常信息，可以判断跟kafka参数设置有关，其他异常触发了参数设置上限，参考：Kafka producer TimeoutException: Expiring 1 record(s) - Stack Overflow

解决思路： 

1. request.timeout.ms 太小，加大两次包发送间隔
2. kafka.batch.size 太大，减小每次发送包大小，增加发送频次

kafka限流

之所以触发两个参数，原来是kafka集群设置了 producer 限流，可以通过观察 kafka 集群监控，及生产端设置的 kafka 参数判断。

kafka 生产端设置的 kafka 限流参数：

'kafka.client.id' : xxx

kafka集群监控：

解决

1. 控制 spark 任务并发数，从30降到20
2. 增加kafka限流，修改成200M/s

修改限流前生产和消费：

 修改限流后生产和消费：

 效果：

• 没有再收到异常告警
• 每秒消息生成和消费速度增加了
• 消息生成和消费持续时长减少了