3、Kafka命令行

最新推荐文章于 2022-10-19 09:01:34 发布
最新推荐文章于 2022-10-19 09:01:34 发布
阅读量231 收藏 1
点赞数 1
分类专栏： Kafka 文章标签： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ETTTTTSS/article/details/103490432
版权
本文介绍了如何在命令行中操作Kafka，包括创建和查看topic、管理消费者和生产者，以及检查消费者位置等核心操作。重点讲解了创建topic的参数，如复制因子和分区数，并强调了自动创建topic的配置项。
摘要由CSDN通过智能技术生成

切换目录
cd /usr/local/kafka/bin

创建topic

./kafka-topics.sh --create --zookeeper 192.168.78.169:2181,192.168.78.169:2182,192.168.78.169:2183 --replication-factor 3 --partitions 3 --topic test-topic

–create：创建主题topic

–zookeeper：zookeeper地址，集群用逗号分隔

–replication-factor：复制因子，副本数，小于等于broker数量，存于不同机器以达到容错的目的

–partitions：分区数

–topic：指定topic名称

查看某个topic详细信息

./kafka-topics.sh --describe --zookeeper 192.168.78.169:2181,192.168.78.169:2182,192.168.78.169:2183 --topic test-topic

–describe：查看topic详细信息
在这里插入图片描述
Topic: test-topic
Partition: 0
Leader: 2（分区副本中哪个broker节点为leader，其他为follower）
Replicas: 1,2,0（分区副本所在

最低0.47元/天 解锁文章
java爱分享
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
raccoon:Raccoon 是一个用 Go 编写的 Apache Kafka 命令行搜索工具
05-31
Raccoon 是一个用 Go 编写的 Apache Kafka 命令行搜索工具。 该工具使用户能够通过提供搜索查询来搜索和 grep Kafka 主题中的特定消息。 此外，该工具还允许用户跟踪 Kafka 主题并根据提供的搜索查询过滤消息。 完成...
Kafka的Replica分配策略之二 Replica变为0了怎么办
Rapper金馆长的博客
11-21 3502
这一篇文章准备讨论当kafka集群的broker发生变化,诸如broker崩溃,退出时,kafka集群会如何分配该broker上的Replica和Partition. 在讨论这个问题之前,需要先搞清kafka集群中,leader与follower的分工.可以看我写的这篇文章 Kafka的leader选举过程 在之前介绍kafka的选举过程时,提到成功选举出的leader会向zookeepe
Kafka动态调整topic副本因子replication-factor
russle的专栏
10-26 2万+
实际项目中我们可能在创建topic时没有设置好正确的replication-factor，导致kafka集群虽然是高可用的，但是该topic在有broker宕机时，可能发生无法使用的情况。topic一旦使用又不能轻易删除重建，因此动态增加副本因子就成为最终的选择。 原因分析： 假设我们有3个kafka broker分别brokerA、brokerB、brokerC. 当我们创建的topic有3个...
问题解决 docker stack 部署后 REPLICAS 为 0
Henvealf的博客
06-02 5118
原文 https://blog.csdn.net/u013054888/article/details/90741042 问题描述 使用 docker stack deploy -c docker-compose.yml xxx 执行部署后会发现服务并没有正常启动，REPLICAS 显示 为 0/1 如下： ➜ learn-docker-compose docker service ls ID ...
Kafka入门：简介及集群搭建
Rain的博客
02-24 387
- kafka简介 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统。每条发布到kafka的消息是根据Topic进行归类，每个Topic包含一个或多个Partition，发布消息到Kafka broker的是Producer（生产者），向Kafka broker读取消息的客户端成为Consumer。Kafka...
Kafka中shell命令使用（创建、查看、修改和删除Topic，模拟创建生产者和消费者）
IT之一小佬的博客
10-19 5053
Kafka中shell命令使用（创建、查看、修改和删除Topic，模拟创建生产者和消费者）
kt：喜欢JSON的Kafka命令行工具
01-30
kt-一种喜欢JSON的Kafka工具 您可能感兴趣的一些原因： 在特定偏移量之间的特定分区上使用消息。 显示主题信息（例如，具有分区偏移量和领导者信息）。 修改使用者组偏移量（例如，重置或手动设置每个主题和每个...
kafkactl:用于管理Apache Kafka的命令行工具
04-29
与Apache Kafka交互的命令行界面 | 特征 bash，zsh，fish shell的命令自动完成，包括例如主题或消费者组的动态完成。 支持Avro模式 不同环境的配置 直接访问kubernetes集群中的kafka集群 安装 您可以安装预编译的...
Kafka 常用命令行详细介绍及整理
01-10
Kafka 常用命令行详细介绍及整理 以下是kafka常用命令行总结： 1.查看topic的详细信息 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、为topic增加副本 ./kafka-reassign-partitions....
kafka常用的基本命令行
02-12
以下是一些常见的Kafka命令行工具及其用途： 1. **启动和停止Kafka服务** - `bin/zookeeper-server-start.sh config/zookeeper.properties`: 启动Zookeeper服务，Kafka依赖Zookeeper进行集群协调。 - `bin/kafka-...
Kafka入门
蜡笔小明的博客
01-14 304
kfaka简单介绍 1.Kafka是什么? 分布式的流式数据处理平台 可以用它来发布和订阅流式的记录,这一方面与消息队列或者企业消息系统类似 它将流式的数据安全地存储在分布式、有副本备份、容错的集群上 可以用来做流式计算 如果说其它中间件是高速公路，而Kafka则是停车场，也可以将消息直接与数据库交互 2. Kafka适合什么样的场景? 它可以用于两大类别的应用: 构造实时流数据...
读书笔记-kafka常用操作命令-kafka-topics.sh
sailor_q的博客
03-23 4169
1. 创建topic bin/kafka-topics.sh --zookeeper localhost:2181/kafka --create --topic topic-create --partitions 4 --replication-factor 2 返回结果：Created topic "topic-create". 参数解析 --zookeeper 指定kafka所连接的zookeeper服务地址 --topic 指定所要创建主题的名称 --replicator-factor
kafka-基础
birdswillbecomdragon的博客
02-03 209
一、一些概念 主题类似与数据库表或文件夹的概念，主题可分为多个分区，一个分区就是一个提交日志，消息以追加的方式写入分区，读取数据按照先入先出方式顺序读取(只能保证单个分区消息顺序读取)。 1.通过分区实现数据的冗余和伸缩性。 2.分区可分布在不同服务器上，一个主题可横跨多个服务器。 生产者：创建消息，发布到特定的主题上。默认情况是均衡的发布到当前主题的所有分区。可通过消息键和分区器指定...
zookeeper+KAFKA 集群搭建
TH_lsq的博客
10-18 369
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、集群管理等。 因为Kafka集群是把状态信息保存在Zookeeper中的，并且Kafka的动态扩容是通过Zookeeper来实现的，所以需要优先搭建Zooke...
Kafka常用命令
ZMC921的博客
05-07 302
1、查看当前kafka服务器中的所有topic./kafka-topics.sh --list --zookeeper Hadoop01:2181,Hadoop02:21812、 使用命令行方式创建topic：./kafka-topics.sh --create --zookeeper Hadoop01:2181,Hadoop02:2181 --replication-factor 2 --pa...
kafka集群搭建
qq_45271350的博客
08-05 167
1，准备机器 192.168.1.247 192.168.1.248 192.168.1.249 2，关闭防火墙，SElinux systemctl stop firewalld systemctl disable firewalld setenforce 0 sed -i 's/enforcing/disabled/' /etc/selinux/config 3，安装java yum -y install java* 4，下载安装Zookeeper cd /usr/local/src wget
Kafka笔记-Kafka集群搭建
IT1995的博客
01-17 4523
如下有3台虚拟机，对应的IP如下： 下一台 下一台 对应的3给IP地址如下： 192.168.94.129 192.168.94.131 192.168.94.132 这里默认jdk1.8是安装好了的。 首先是安装zookeeper，分布式部署，随后再部署kafka 解压后进入zookeeper，的conf。拷贝一份zoo_sample.cf...
Kafka Shell基本命令（包括topic的增删改查）
虎猫
11-17 536
创建kafka topic bin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30  --replication-factor 2 注： partitions指定topic分区数，replication-factor指定topic每个分区的副本数   partitions分区数...
Kafka集群partitions/replicas默认分配解析
热门推荐
李志涛的专栏
12-06 4万+
1. kafka集群副本分布原理分析 下面以一个kafka集群中4个broker举例，1个topic分成4个partition，2 replication；数据producer流动如图所示： 每个broker都有均等获得partition的leader机会。上述图broker partition中，箭头指向为副本，以partition-0为例:broker1中parition-
kafka命令行操作
最新发布
09-14
下面是一些常用的 Kafka 命令行操作： 1. 启动 Kafka 服务器: ``` bin/kafka-server-start.sh config/server.properties ``` 2. 创建一个主题（Topic）: ``` bin/kafka-topics.sh --create --topic ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值