消息中间件之kafka(二) java API使用

JAVA API使用

生产者 Producer

package com.hikvsion.kafka.producer;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.util.Properties;

/**
 * @ClassName Producer
 * @Description TODO
 * @Autuor lulinfeng
 * @Date 2020/8/12
 * @Version 1.0
 */
public class Producer extends Thread{
   

    private final KafkaProducer<Integer,String> producer;

    private final String topic;

    public Producer(String topic){
   
        Properties properties=new Properties();
        // 连接的 kafka 集群地址
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,
                "10.33.40.5:29092");
        // 客户端ID标识
        properties.put(ProducerConfig.CLIENT_ID_CONFIG,"KafkaProducer");
        //确认记录，保证记录不丢失 总是设置成-1
        properties.put(ProducerConfig.ACKS_CONFIG,"-1");
        // 键序列化
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,
                "org.apache.kafka.common.serialization.IntegerSerializer");
        //值序列化
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,
                "org.apache.kafka.common.serialization.StringSerializer");
        producer=new KafkaProducer<Integer, String>(properties);
        this.topic=topic;
    }

    @Override
    public void run() {
   
        int num=0;
        while(num<50){
   
            String message="message_"+num;
            System.out.println("begin send message:"+message);
            producer.send(new ProducerRecord<Integer, String>(topic, message));
            num++;
            try {
   
                Thread.sleep(1000);
            } catch (InterruptedException e) {
   
                e.printStackTrace();
            }
        }
    }

    public static void main(String[] args) {
   
        new Producer("testTopic2").start();
    }
}

生产者的常用可选配置信息：

ACKS_CONFIG：

acks 配置表示 producer 发送消息到 broker 上以后的确认值。有三个可选项

Ø 0：表示 producer 不需要等待 broker 的消息确认。这个选项时延最小但同时风险最大（因为当 server 宕机时，数据将会丢失）。

Ø 1：表示 producer 只需要获得 kafka 集群中的 leader 节点确认即可，这个选择时延较小同时确保了 leader 节点确认接收成功。

Ø all(-1)：需要 ISR 中所有的 Replica 给予接收确认，速度最慢，安全性最高，但是由于 ISR 可能会缩小到仅包含一个 Replica，所以设置参数为 all 并不能一定避免数据丢失，

BATCH_SIZE_CONFIG :

生产者发送多个消息到 broker 上的同一个分区时，为了减少网络请求带来的性能开销，通过批量的方式来提交消息，可以通过这个参数来控制批量提交的字节数大小，默认大小是 16384byte,也就是 16kb，意味着当一批消息大小达到指定的 batch.size 的时候会统一发送

LINGER_MS_CONFIG

Producer 默认会把两次发送时间间隔内收集到的所有 Requests 进行一次聚合然后再发送，以此提高吞吐量，而 linger.ms 就是为每次发送到 broker 的请求增加一些 delay，以此来聚合更多的 Message 请求。 这个有点想 TCP 里面的Nagle 算法，在 TCP 协议的传输中，为了减少大量小数据包的发送，采用了Nagle 算法，也就是基于小包的等-停协议。

Ø BATCH_SIZE_CONFIG 和 LINGER_MS_CONFIG这两个参数是 kafka 性能优化的关键参数，如果两个都配置了，那么怎么工作的呢？实际上，当二者都配置的时候，只要满足其中一个要求，就会发送请求到 broker 上

MAX_REQUEST_SIZE_CONFIG

设置请求的数据的最大字节数，为了防止发生较大的数据包影响到吞吐量，默认值为 1MB。

消息发送可靠性

使用 callback：

//使用 callback
            producer.send(new ProducerRecord<String, String>("topic0", "message 2"), new Callback() {
   
                @Override
                public void onCompletion(RecordMetadata metadata, Exception exception) {
   
                    if (exception != null) {
   
                        System.out.println("send message2 failed with " + exception.getMessage());
                    } else {
   
                        // offset 是消息在 partition 中的编号，可以根据 offset 检索消息
                        System.out.println("message2 sent to " + metadata.topic() + ", partition " + metadata.partition() + ", offset " + metadata.offset());
                    }
                }
            });

采取回调通知

//回调通知
            String msg = "kafka practice msg:" + num;
            //get 会拿到发送的结果
            //同步 get() -> Future()
            //回调通知
            Future<RecordMetadata> futrue = producer.send(new ProducerRecord<>(topic, msg), (metadata, exception) -> {
   
                System.out.println(metadata.offset() + "->" + metadata.partition() + "->" + metadata.topic());
            });
            try {
   
                futrue.get();
            } catch (InterruptedException e) {
   
                e.printStackTrace();
            } catch (ExecutionException e) {
   
                e.printStackTrace();
            }

消费者Consumer：

package com.hikvsion.kafka.consumer;

import org.apache.kafka.clients.<