kafka创建topic、添加配置等相关操作

本文详细介绍了如何在Kafka中创建、管理和配置topic,包括使用命令行创建topic,启动消费者和生产者,删除topic以及更改topic配置。通过Zookeeper连接地址和指定的参数,你可以进行数据分区和副本数设定,以及执行消费和生产数据操作。
摘要由CSDN通过智能技术生成

一、创建topic

装有kafka的系统命令行界面执行以下命令创建名为test的topic

kafka-topics --create --zookeeper localhost:2180 --replication-factor 2 --partitions 3 --topic test

说明:

--create                      表示要对kafka执行创建的操作 

--zookeeper               指定自己的zookeeper连接地址,这里是localhost:2180

--replication-factor      指定保存数据的副本数,这里是2,可以根据自己需求指定

--partitions                  指定保存数据的分区数,这里是3,可以根据自己需求指定

--topic                         指定要创建的topic(kafka里面的表)名字

二、kafka命令行消费者

在kafka节点执行kafka-console-consumer命令行工具

kafka-console-consumer --bootstrap-server test1:9192,test2:9192,test3:9192 --topic test

说明:

--bootstrap-server       指定kafka的块地址,这里是 test1:9192,test2:9192,test3:9192 需要替换自己的kafka块连接地址。(ps:只要网络可以通信,使用该命令行消费工

在 Spring Boot 中,可以使用 `spring-kafka` 库来配置 Kafka 生产者自动创建 topic。 首先,在 `application.properties` 或 `application.yml` 配置文件中添加以下属性: ``` spring.kafka.producer.properties.topic.metadata.refresh.interval.ms=1000 spring.kafka.admin.properties.bootstrap.servers=<kafka-broker-host>:<kafka-broker-port> spring.kafka.admin.properties.security.protocol=SASL_PLAINTEXT spring.kafka.admin.properties.sasl.mechanism=PLAIN spring.kafka.admin.properties.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<username>" password="<password>"; ``` 其中,`spring.kafka.admin.properties.bootstrap.servers` 是 Kafka 服务器的地址和端口,`spring.kafka.admin.properties.security.protocol`、`spring.kafka.admin.properties.sasl.mechanism` 和 `spring.kafka.admin.properties.sasl.jaas.config` 是 Kafka 安全认证相关配置,需要根据实际情况进行修改。 接着,定义一个 Kafka 配置类,使用 `@Configuration` 注解标注,使用 `@EnableKafka` 注解开启 Kafka 相关功能,并在类中定义一个 `KafkaAdmin` Bean,用于管理 Kafka。 ```java @Configuration @EnableKafka public class KafkaConfig { @Value("${spring.kafka.admin.properties.bootstrap.servers}") private String bootstrapServers; @Bean public KafkaAdmin kafkaAdmin() { Map<String, Object> configs = new HashMap<>(); configs.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); configs.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SASL_PLAINTEXT"); configs.put(SaslConfigs.SASL_MECHANISM, "PLAIN"); configs.put(SaslConfigs.SASL_JAAS_CONFIG, "org.apache.kafka.common.security.plain.PlainLoginModule required username=\"<username>\" password=\"<password>\";"); return new KafkaAdmin(configs); } } ``` 最后,在生产者中使用 `KafkaTemplate` 发送消息时,如果发送的 topic 不存在,Kafka 将会自动创建topic。 ```java @Service public class MyProducer { @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String message) { kafkaTemplate.send("my-topic", message); } } ``` 在上面的例子中,如果 `my-topic` 这个 topic 不存在,Kafka 将自动创建它。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据动物园

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值