Kafka操作及原理

本文详细介绍了Kafka集群的控制台操作,包括创建Topic、查看主题、生产者和消费者数据操作,以及通过Java API进行操作。同时,深入探讨了Kafka的原理,如生产者和消费者的写读数据流程、日志存储机制、消息不丢失机制,并讨论了CAP理论在Kafka中的应用。此外,还涉及了Kafka与Zookeeper的交互。
摘要由CSDN通过智能技术生成

文章目录

9、Kafka集群操作

9.1、kafka集群操作-控制台操作

9.1.1、创建一个Topic

创建了一个名字为test的主题, 有三个分区,有两个副本

node02执行以下命令来创建topic

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-topics.sh --create --zookeeper node02:2181 --replication-factor 2 --partitions 3 --topic test

9.1.2、查看主题命令

查看kafka当中存在的主题

node02使用以下命令来查看kafka当中存在的topic主题

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-topics.sh  --list --zookeeper node02:2181,node03:2181,node04:2181

9.1.3、生产者生产数据

模拟生产者来生产数据

node02服务器执行以下命令来模拟生产者进行生产数据

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-console-producer.sh --broker-list node02:9092,node03:9092,node04:9092 --topic test

9.1.4、消费者消费数据

node03服务器执行以下命令来模拟消费者进行消费数据

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-console-consumer.sh --from-beginning --topic test  --zookeeper node02:2181,node03:2181,node04:2181

9.1.5、运行describe topics命令

node02执行以下命令运行describe查看topic的相关信息

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-topics.sh --describe --zookeeper node02:2181 --topic test

在这里插入图片描述

结果说明:

这是输出的解释。第一行给出了所有分区的摘要,每个附加行提供有关一个分区的信息。由于我们只有一个分 区用于此主题,因此只有一行。

“leader”是负责给定分区的所有读取和写入的节点。每个节点将成为随机选择的分区部分的领导者。(因为在kafka中 如果有多个副本的话,就会存在leader和follower的关系,表示当前这个副本为leader所在的broker是哪一个)

“replicas”是复制此分区日志的节点列表,无论它们是否为领导者,或者即使它们当前处于活动状态。(所有副本列表 0 ,1,2)

“isr”是“同步”复制品的集合。这是副本列表的子集,该列表当前处于活跃状态并且已经被领导者捕获。(可用的列表 数)

9.1.6、修改topic属性

9.1.6.1、增加topic分区数

任意kafka服务器执行以下命令可以增加topic分区数

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-topics.sh --zookeeper zkhost:port --alter --topic topicName --partitions 8
9.1.6.2、增加配置

动态修改kakfa的配置

任意kafka服务器执行以下命令可以增加topic分区数

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-topics.sh --zookeeper node02:2181 --alter --topic test --config flush.messages=1
9.1.6.3、删除配置

动态删除kafka集群配置

cd /export/servers/kafka_2.11-0.10.0.0

bin/kafka-topics.sh --zookeeper node02:2181 --alter --topic test --delete-config flush.messages
9.1.6.4、删除topic

目前删除topic在默认情况下知识打上一个删除的标记,在重新启动kafka后才删除。如果需要立即删除,则需要在

server.properties中配置:

delete.topic.enable=true

然后执行以下命令进行删除topic

kafka-topics.sh --zookeeper zkhost:port --delete --topic topicName

9.2、kafka集群操作-JavaAPI操作

9.2.1、添加依赖

创建maven工程并添加以下依赖jar包的坐标到pom.xml

<dependencies>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version> 0.10.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-streams</artifactId>
        <version>0.10.0.0</version>
    </dependency>

</dependencies>

<build>
    <plugins>
        <!-- java编译插件 -->
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.2</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
                <encoding>UTF-8</encoding>
            </configuration>
        </plugin>
    </plugins>
</build>

9.2.2、生产者代码

/**

\* 订单的生产者代码,

*/

public class OrderProducer {
   
    public static void main(String[] args) throws InterruptedException {
   
        Properties props = new Properties();
        props.put("bootstrap.servers", "node02:9092");
        props.put("acks", "all");
        props.put("retries", 0);
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        props.put("buffer.memory", 33554432);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(props);
        for (int i = 0; i < 1000; i++){
   
            kafkaProducer.send(new ProducerRecord<String,String>("order","订单"+i));
            Thread.sleep(1000);
        }
        
        //kafkaProducer.flush();
        //kafkaProducer.close();
    }
}

9.2.3、消费者代码

使用消费者进行消费kafka当中的数据

/**

\* 消费订单数据--- javaben.tojson

*/

public class OrderConsumer {
   

public static void main(String[] args) {
   

// 1\连接集群

	Properties props = new Properties(); 
    props.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值