Kafka 异步发送被阻塞

1.Kafka异步发送时，当kafka服务器关掉(已验证，会发生)，或发送的buffer.memory堆满（未验证）时，异步发送被阻塞，报异常。

[2021-09-08 16:10:33,087] - org.apache.kafka.common.errors.TimeoutException: Topic sms.moreport.topic3333 not present in metadata after 5000 ms.

2.尝试解决方案

（1）在Callback的回调方法中，处理异常，保存数据到db(本地数据库rocksdb,或远程数据库mysql),避免丢数据。

new Callback() {
                    @Override
                    public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                        if(e != null) {
                            Helpers.getInstance.toLocalDb(data);
                            logger.error("transfer error,data = "+ data +",ex = "+ e);
                        }
                    }
                }

（2）用redis的setex方法，设置kafka可发送的一个标识,15s超时删除（如果远程redis也崩了，就只有本地数据库最可靠了，不过线上运行的redis一般集群部署，出现redis宕机几率不高），

（3）新的数据需要添加到kafka时都先检查kafka可发标识，如果存在就不发送，直接持久化到db.