大数据Kafka简单的生产者例子

在这一节中将创建一个使用Java客户端发布和使用消息的应用程序。 Kafka生产者客户端由以下API组成。

KafkaProducer API

下面来了解Kafka生产者API。 KafkaProducer API的核心部分是KafkaProducer类。 KafkaProducer类提供了一个选项，用于将Kafka代理的构造函数与以下方法连接起来。

• KafkaProducer类提供send()方法来异步发送消息到主题。 send()的签名如下 –

  producer.send(new ProducerRecord<byte[],byte[]>(topic, partition, key1, value1) , callback);  

• ProducerRecord – 生产者管理等待发送的记录缓冲区。
• Callback – 服务器确认记录时执行的用户提供的回调函数(null表示无回调)。
• KafkaProducer类提供了一个flush方法来确保所有先前发送的消息已经实际完成。 flush方法的语法如下 –

  public void flush()  

• KafkaProducer类提供了partitionFor方法，该方法有助于获取给定主题的分区元数据。 这可以用于自定义分区。 这种方法的签名如下 –

  public Map metrics()  

  它返回生产者维护的内部度量图。

• public void close() – KafkaProducer类提供close方法，阻塞直到完成所有先前发送的请求。

生产者API

Producer API的核心部分是Producer类。 Producer类提供了一个选项，通过以下方法在其构造函数中连接Kafka代理。

Producer类

Producer类提供send方法，使用以下签名将消息发送到单个或多个主题。

public void send(KeyedMessaget<k,v> message)   - sends the data to a single topic,par-titioned by key using either sync or async producer.  public void send(List<KeyedMessage<k,v>>messages)  - sends data to multiple topics.  Properties prop = new Properties();  prop.put(producer.type,”async”)  ProducerConfig config = new ProducerConfig(prop);  

有两种类型的生产者 – 同步和异步。

同样的API配置也适用于Sync生产者。 它们之间的区别是同步生产者直接发送消息，但在后台发送消息。 当想要更高的吞吐量时，首选异步生产者。 在0.8之前的版本中，异步生产者没有回调send()来注册错误处理程序。异步生产者仅在当前版本0.9中可用。

public void close()

Producer类提供close()方法来关闭所有Kafka 经纪人的生产者池连接。

配置设置

Producer API的主要配置设置在下表中列出以便更好地理解 –

<

编号	配置设置	描述
1	client.id	确定生产者应用
2	producer.type	是同步还是异步?
3	acks	acks配置控制生产者请求下的标准被认为是完整的。
4	retries	如果生产者请求失败，则自动重试具有特定的值。
5	bootstrap.servers	引导经纪人(brokers)列表。
6	linger.ms	如果想减少请求的数量，可以将linger.ms设置为大于某个值的值。
7	key.serializer	序列化器接口的键。
8	value.serializer	序列化器接口的值。