第4章 Kafka API
4.1 Producer API
4.1.1 消息发送流程
Kafka的Producer发送消息采用的是异步发送的方式。
在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。
相关参数:
**batch.size:**只有数据积累到batch.size之后,sender才会发送数据。
**linger.ms:**如果数据迟迟未达到batch.size,sender等待linger.time之后就会发送数据。
4.1.2 异步发送API
1)导入依赖
<dependencies>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.4.1</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-slf4j-impl</artifactId>
<version>2.12.0</version>
</dependency>
</dependencies>
2)添加log4j配置文件
<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="error" strict="true" name="XMLConfig">
<Appenders>
<!-- 类型名为Console,名称为必须属性 -->
<Appender type="Console" name="STDOUT">
<!-- 布局为PatternLayout的方式,
输出样式为[INFO] [2018-01-22 17:34:01][org.test.Console]I'm here -->
<Layout type="PatternLayout"
pattern="[%p] [%d{yyyy-MM-dd HH:mm:ss}][%c{10}]%m%n" />
</Appender>
</Appenders>
<Loggers>
<!-- 可加性为false -->
<Logger name="test" level="info" additivity="false">
<AppenderRef ref="STDOUT" />
</Logger>
<!-- loggerConfig设置 -->
<wolffy level="info">
<AppenderRef ref="STDOUT" />
</wolffy>
</Loggers>
</Configuration>
3)编写代码
需要用到的类:
KafkaProducer:需要创建一个生产者对象,用来发送数据
ProducerConfig:获取所需的一系列配置参数
ProducerRecord:每条数据都要封装成一个ProducerRecord对象
(1)不带回调函数的API
package com.wolffy.kafka.producer;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;
import java.util.UUID;
/**
* 生产者 - 异步发送 - 不带回调
*
* 配置类
* CommonClientConfigs : 通用的配置类
* ProducerConfig : 生产者的配置类
* ConsumerConfig : 消费者的配置类
*/
public class KafkaProducerDemo {
public static void main(String[] args) {
//0. 创建配置对象
Properties props= new Properties();
//kafka集群,broker-list
props.put("bootstrap.servers", "hadoop102:9092");
// ack的级别
props.put("acks", "all");
//重试次数
props.put("retries", 3);
//批次大小
props.put("batch.size", 16384);
//等待时间
props.put("linger.ms", 1);
//RecordAccumulator缓冲区大小
props.put("buffer.memory", 33554432); //32M
// kv的序列化器
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
//1. 创建生产者对象
KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(props);
//2. 生产数据
for (int i = 0; i < 20 ; i++) {
//1. 指定partition
//kafkaProducer.send(new ProducerRecord<String,String>("first",1,null,"wolffy" + i));
//2. 指定key
//kafkaProducer.send(new ProducerRecord<String,String>("first", UUID.randomUUID().toString(),"wolffy-->" + i));
//3. 黏性
kafkaProducer.send(new ProducerRecord<String,String>("first", "wolffy*****" + i));
}
//3. 关闭对象
kafkaProducer.close();
}
}
(2)带回调函数的API
回调函数会在producer收到ack时调用,为异步调用,该方法有两个参数,分别是RecordMetadata和Exception,如果Exception为null,说明消息发送成功,如果Exception不为null,说明消息发送失败。
注意:消息发送失败会自动重试,不需要我们在回调函数中手动重试。
package com.wolffy.kafka.producer;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;
import java.util.Properties;
/**
* 生产者 - 异步发送 - 带回调
*
* 配置类
* CommonClientConfigs : 通用的配置类
* ProducerConfig : 生产者的配置类
* ConsumerConfig : 消费者的配置类
*
*/
public class KafkaProducerDemo1 {
public static void main(String[] args) {
//0. 创建配置对象
Properties props= new Properties();
//kafka集群,broker-list
props.put("bootstrap.servers", "hadoop102:9092");
// ack的级别
props.put("acks", "all");
//重试次数
props.put("retries", 3);
//批次大小
props.put("batch.size", 16384);
//等待时间
props.put("linger.ms", 1);
//RecordAccumulator缓冲区大小
props.put("buffer.memory", 33554432); //32M
// kv的序列化器
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
//1. 创建生产者对象
KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(props);
//2. 生产数据
for (int i = 0; i < 10; i++) {
kafkaProducer.send(
new ProducerRecord<String, String>("first", "wolffy####" + i)
, new Callback() {
@Override
public void onCompletion(RecordMetadata metadata, Exception exception) {
if(exception != null){
System.out.println("消息发送失败: " + exception.getMessage());
}else{
System.out.println("消息发送成功: " + metadata.topic() +
" : " + metadata.partition() +