大数据-kafka学习笔记_error while fetching metadata with correlation id(1)

在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator， Sender 线程不断从RecordAccumulator 中拉取消息发送到Kafka Broker。

生产者的main线程

main线程先创建Producer对象，然后调用send方法，数据会经过拦截器，进行过滤处理，如果不需要可以不设置拦截器，拦截器用的较少。接着经过序列化器对数据进行序列化（在网络中传输数据需要序列化将数据转成通用的字节流便于网络传输），然后经过分区器，分区器决定每条数据要发往哪个分区，然后将每条数据发给对应的分区，一个分区对应一个DQuee（双端队列），队列中会有一批一批数据，一批数据默认大小是16k。

总的来说，main线程将数据发到RecordAccumulator记录累加器中，默认大小是32m，这个是在内存中，起到缓存的作用，将大量的数据一批一批发给kafka，提高网络传输速率。累加器使用有限的内存，当内存耗尽时（生成者产生数据的速度超过发送给服务器的速度），追加调用将阻塞，除非显式禁用此行为。

sender线程，负责将数据发给kafka。数据是分批次发给kafka，当一个批次的数据达到16k或等待的时间达到linger.ms设置的时间，一个批次的数据就会被sender发给kafka，一个批次就是分区队列中那个小正方形。

sender发送数据：broker1（request1，request2，request3，request4，request5），每个kafka节点维护一个发送数据的请求缓存，这个请求缓存最多缓存5个请求，如果请求发送失败了，会使用后面的请求继续发。批数据到达对应的broker后，会先同步副本。

生产者分区

分区好处：

1）便于合理使用存储资源，每个Partition在一个Broker上存储，可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务，可以实现负载均衡的效果。

2）提高并行度，生产者可以以分区为单位发送数据；消费者可以以分区为单位进行消费数据，从而提高消费处理数据的速度。

生产者发送消息的分区策略

ProducerRecord是生产者发送数据的单位

自定义分区器

也可以自定义分区器，自己决定数据要发到哪个分区中

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;
import java.util.Map;
/**
发送过来的数据中如果包含 atguigu，就发往 0 号分区，不包含 atguigu，就发往 1 号分区
 定义类实现 Partitioner 接口，重写 partition()方法。

* 1. 实现接口 Partitioner
* 2. 实现 3 个方法:partition,close,configure
* 3