Kafka主题（Topic/文件夹）的操作

最新推荐文章于 2024-08-21 17:49:07 发布
最新推荐文章于 2024-08-21 17:49:07 发布
阅读量1k 收藏 20
点赞数 10
分类专栏： kafka 文章标签： kafka 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46112274/article/details/141269883
版权

Kafka主题（Topic/文件夹）的操作

1、Kafka主题（Topic/文件夹）

注意：下方涉及topic的所有操作都是在kafka安装目录的bin文件夹下执行

/usr/local/kafka_2.13-3.7.0/bin

在这里插入图片描述

2、Kafka主题（Topic/文件夹）的一些操作

在这里插入图片描述

2.1、创建主题（Topic/文件夹）

./kafka-topics.sh --create --topic helloword --bootstrap-server localhost:9092

在这里插入图片描述

2.2、列出所有主题（Topic/文件夹）

./kafka-topics.sh --list  --bootstrap-server localhost:9092

在这里插入图片描述

2.3、删除主题（Topic/文件夹）

./kafka-topics.sh --list  --bootstrap-server localhost:9092

在这里插入图片描述

2.4、显示主题（Topic/文件夹）详细信息

./kafka-topics.sh --describe --topic helloword --bootstrap-server localhost:9092

在这里插入图片描述

2.5、修改主题（Topic/文件夹）分区数

./kafka-topics.sh --alter --topic helloword --partitions 5 --bootstrap-server localhost:9092

在这里插入图片描述

修改后的分区数是5
在这里插入图片描述

3、生产者：在Kafka主题（Topic/文件夹）中写事件的操作（./kafka-console-producer.sh）

在这里插入图片描述

3.1、查看如何使用写入事件的脚本

执行./kafka-console-producer.sh脚本可以查看如何往topic里边写入事件

./kafka-console-producer.sh

在这里插入图片描述

3.2、往主题中写入事件

执行如下命令可以往指定主题中写入事件：

  • 每次换行写入一个新的主题
  • 按ctrl+c结束
./kafka-console-producer.sh --topic helloword --bootstrap-server localhost:9092

在这里插入图片描述

4、消费者：从Kafka主题（Topic/文件夹）中读事件的操作（./kafka-console-consumer.sh）

在这里插入图片描述

4.1、不带任何参数执行脚本会告诉如何使用

./kafka-console-consumer.sh

在这里插入图片描述

4.2、从kafka指定topic中读取事件

注意：

  • 带上 –from-beginning 参数是从第一条读取事件；
  • 不带 –from-beginning 参数只能读取消费者启动后生产者发送的数据
./kafka-console-consumer.sh --topic helloword --from-beginning --bootstrap-server localhost:9092

在这里插入图片描述

小码哥呀
关注
专栏目录
Kafka 基本操作之添加、修改、删除 Topic 及优雅关闭 Kafka
流华追梦的专栏
03-25 1518
本节将回顾您在 Kafka 集群上执行的常见 Topic 的操作。本节中介绍的所有工具都可以在 Kafka 发行版的 bin/ 目录下使用，如果在没有参数的情况下运行，每个工具都会打印所有可能的命令行选项的详细信息。
kafka安装及配置
m0_50289266的博客
03-14 2679
kafka安装机配置
kafka topic 操作
qq_23850129的博客
04-08 1576
kafkatopic操作 package com.liuze.learnkafka; import org.apache.kafka.clients.admin.*; import org.junit.jupiter.api.Test; import org.springframework.boot.test.context.SpringBootTest; import java.util.*; import java.util.concurrent.ExecutionException; @Spri
kafka topic 命令操作
yf826709699的博客
03-19 2231
bin/kafka-topics.sh --list --zookeeper localhost:2181(查看topic)bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topictest --from-beginning（查看topic内数据）bin/kafka-topics.sh --delete --zoo...
Kafka篇之清理或创建topic
最新发布
小橙子的笔记屋
08-21 760
kafka创建或清理topic
Kafka主题Topic的相关操作
weixin_40151864的博客
05-14 338
目录 创建topic 查看topic的列表 新版本生产者（支持0.9版本+） 新版本消费者（支持0.9版本+） 查看某一个具体的Topic 修改Topic 删除Topic 查询topic每个partition的偏移量 创建topic $KAFKA_HOME/bin/kafka-topics.sh --create --topic channel.test.HelloWorld --zookeeper node01:2181,node02:2181,node03:2181/kafk..
Kafka常用操作：创建，删除，生产，消费topic。Too many open file问题修复。修改偏移量，重新消费。
u010479989的博客
01-25 5531
Topic命令 创建topic kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test 192.168.6.57:9092,192.168.6.58:9092,192.168.6.59:9092 删除topic ./kafka-topics.sh –delete -zookeeper kafka-1:2181,kafka-2:2181,kafka-
kafka基本操作以及kafka-topics.sh 使用方式
qq_29750559的博客
11-26 779
本文主要描述kafka基本操作以及kafka-topics.sh脚本的使用
Kafka主题、分区、副本
lovely_nn的博客
01-14 2165
主题Topic 主题Topic在kafka中是个逻辑的概念，kafka通过topic将消息进行分类，不同的Topic会被订阅该Topic的消费者消费。但是有个问题，如果说这个topic中的消息非常多，多到需要用几T来存，因为消息是会被保存到log日志文件中的，为了解决这个文件过大的问题，kafka提出了Partition分区的概念。 分区Partition 通过partition将⼀个topic中的消息分区来存储(分段存储topic)，这样的好处有多个: 1.分区存储，可以解决统一存储文件过大的问题。
kafka集群搭建&zookeeper集群搭建
zry625的博客
10-22 565
1.安装准备 jdk-8u162-linux-x64.tar zookeeper-3.4.12.tar.gz kafka_2.11-2.0.0 .tgz 2.准备至少三台虚拟机 192.168.196.128 192.168.196.131 192.168.196.132 3.Java环境安装 （略…自行百度） 4.搭建zookeeper集群 在每台主机下执行以下步骤： 移动至/usr/local下： mv zookeeper-3.4.12.tar.gz /usr/local 解压，重命名： tar -z
Kafka某topic无法消费解决方案&Kafka某Topic数据清理
Winter is coming……
05-25 2万+
由于项目原因，最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况。碰到这种情况，有三步去判断原因所在： step A：如果用kafka串口（即console-consumer）是可以正常消费该topic，则排除kafka集群出现故障 step B：若平台业务能正常消费其他topic的消息，则排除平台业务代码逻辑问题 step C：不到万不得已，则只能手动删除
Kafka Topic 12个操作汇总|生产者如何保障不丢数据
qq_38151907的博客
05-25 5582
查看单个消费者组的进度： kafka-consumer-groups.sh --bootstrap-server xxx --describe --group xxx 创建topic kafka-topics.sh --create --zookeeper xxx --replication-factor 2 --partitions 1 --topic xxx 对已创建topic参数调整接收消息大小 kafka-configs.sh --zookeeper xxx --alter --t.
Kafka中的Topic
晓晓的天空
12-05 7129
在Kafka中，Topic是消息的逻辑通道，生产者将消息发布到Topic，而消费者从Topic订阅消息。每个Topic可以有多个分区（Partitions），每个分区可以在不同的服务器上，以实现横向扩展。Kafka的Topic是构建实时流数据处理系统的核心组件之一。通过深入了解Topic的创建、配置、生产者和消费者，以及实际应用中的示例代码，可以更好地理解和应用Kafka。在实际项目中，根据具体需求和场景进行灵活配置，以确保系统的可靠性、性能和安全性。
kafka如何动态消费新增topic主题
lifewinnerforever的博客
02-22 4815
spring-kafka客户端接入新的主题消息，需要硬编码客户端代码，并且重新发布服务，开发成本高操作麻烦。 接入kafka-batch-starter组件可以满足动态接入的需求。
kafka删除topic消息的四种方式
热门推荐
新技术革命
01-25 2万+
方法一：快速配置删除法（简单粗暴，如果这个主题有程序还在消费都，此时KAFKA就game over） 1.kafka启动之前，在server.properties配置delete.topic.enable=true 2.执行命令bin/kafka-topics.sh --delete --topic test --zookeeper zk:2181或者使用kafka-manager集群管理工具删除 注意：如果kafka启动之前没有配置delete.topic.enable=true，topic只会标记
如何彻底删除Kafka中的topic (marked for deletion)
russle的专栏
09-28 2万+
工作中因为个中原因可能需要彻底清理一下kafka topic，那么如何彻底删除topic？ 方法一（配置delete.topic.enable=true）   修改kafaka配置文件server.properties， 添加delete.topic.enable=true，重启kafka，之后通过kafka命令行就可以直接删除topic   通过命令行删除topic：     ./bin/kaf...
浅谈Kafka学习之路笔记
满天点点星辰的博客
04-10 491
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：消息持久化：以时间复杂度为0(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。
Kafka 删除kafka中的topic 多种方式
迎难而上
11-07 1万+
最近由于项目需要需要删除 kafka 中的topic : 下面记录下删除的方式： 方式一 （我的机器不成功不知道是什么原因） 原理：通过kafka 的配置： delete.topic.enable Enables delete topic. Delete topic through the admin tool will have
kafka删除topic数据
07-25
要删除 Kafka 中的一个 topic 的数据，你可以按照以下步骤进行操作： 1. 停止 Kafka 服务：首先，确保 Kafka 服务已经停止运行，以免在删除数据时出现意外情况。 2. 删除 topic 数据目录：在 Kafka 的配置文件中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值