主要模拟测试kafka的某一个broker挂掉的情况。
public Future<RecordMetadata> send(ProducerRecord<K, V> record)
1、定义partition,key,value
public ProducerRecord(String topic, Integer partition, K key, V value)
这种情况下,测试结果是,如果这个partition所在的broker刚好宕机,那后续的数据会全部丢失
2、定义key,value,不定义partition
public ProducerRecord(String topic, K key, V value)
这种情况下,测试结果是,部分数据丢失
3、只定义value
public ProducerRecord(String topic, V value)
这种情况下,测试结果是,只丢失了一条记录。
个人总结:
所以我们实际使用的情况下,最好不设置partition和key的值,除非必要。
对于我们发送失败的数据,我们需要重新处理,这时我们用到kafka另一个API:
public Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback)
重写callback的public void onCompletion(RecordMetadata metadata, Exception e)方法,发送失败我们会捕捉到对应的Exception,由于该方法是异步的,我们可以把发送失败的数据收集起来,在达到一定大小或者一定时间的时候,进行重新发送。