kafka知识点

大佬的文章

这里不做kafka搭建的指导了，一般都是直接解压就可以了，网上很多文档，这里不多说。
我主要说说基本操作和原理。

1. 集群启动

nohup XXX/kafka/bin/kafka-server-start.sh XXX/kafka/config/server.properties > /dev/null 2>&1 &

2. 常用命令

-查看全部

XXX/kafka/bin/kafka-topics.sh --list --zookeeper XXX:2181

-创建

XXX/kafka/bin/kafka-topics.sh --create --zookeeper XXX:2181 --replication-factor 1 --partitions 1 --topic TName

-删除

XXX/kafka/bin/kafka-topics.sh --delete --zookeeper XXX:2181 --topic TName

-通过shell命令发送消息

XXX/kafka/bin/kafka-console-producer.sh --broker-list XXX:9092 --topic TName

-通过shell命令x消费消息

XXX/kafka/bin/kafka-console-consumer.sh -zookeeper XXX:2181 --from-beginning --topic TName

-查看消费位置

XXX/kafka/bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper XXX:2181 --group GName

-查看某个topic详情

XXX/kafka/bin/kafka-topics.sh --topic TName --describe --zookeeper XXX:2181

-修改分区

XXX/kafka/bin/kafka-topics.sh --zookeeper zkName --alter --partitions 2 --topic TName

java生产者代码

public static void main(String[] args) throws InterruptedException {

        Properties props = new Properties();
        props.put("bootstrap.servers", "node01:9092,node02:9092,node03:9092");
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer",
                "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer",
                "org.apache.kafka.common.serialization.StringSerializer");

        // 1.创建KafkaProducer 也就kafka的生产者
        // 1.1 需要一个Properties对象--怎么连接kafka集群
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(props);
        // 2.发送数据----ProducerRecord 封装数据
        for(int i=0;i<=2000;i++){
            // 2.2 在构造ProducerRecord发现有很多构造参数
            // 选择参数最少的一个，有两个参数，第一个topic，第二个是内容
            ProducerRecord<String, String> producerRecord = new ProducerRecord<String, String>("qwer1","订单"+i);
            // 2.1 发送ProducerRecord对象
            kafkaProducer.send(producerRecord);
            System.out.println(producerRecord);
        }
        // 发现一个问题，程序运行完，但是consumer并没有消费到数据。必须让程序休眠一段时间，后才有消费。
        // kafka 消息不丢失机制。
        Thread.sleep(3000);
    }

java消费者代码

public static void main(String[] args) {
        // 1.连接集群，订阅topic，准备消费数据
        // 2.消费数据
        Properties props = new Properties();
        props.put("bootstrap.servers", "node01:9092,node02:9092,node03:9092");
        props.put("group.id", "test");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");

        // 1.创建KafkaConsumer
        // 1.1 发现KafkaConsumer 也需要一个 Properties
        KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<String, String>(props);
        // 1.2 订阅数据
        kafkaConsumer.subscribe(Arrays.asList("qwer1"));
        while (true) {
            // 2. 消费数据
            ConsumerRecords<String, String> consumerRecords = kafkaConsumer.poll(100);
            // 2.1 迭代ConsumerRecords 获取数据
            // 有topic的名字，key，value，partition的内容
            for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
                System.out.println("topic: " + consumerRecord.topic());
                System.out.println("value: " + consumerRecord.value());
                System.out.println("----------------------");
            }
        }
    }

ACK机制：
0：producer不等待broker同步确认，继续发送下一批数据。优点是延迟低，但是会造成数据丢失。
1：producer等待leader确认收到数据，才开始发送下一批数据。较好的持久性和较低的延迟性，partition的leader死亡，follower为复制时，数据丢失。
-1：producer等待follower收到数据，延迟高，不会数据丢失。