KAFKA简单命令行操作

最新推荐文章于 2024-06-20 11:40:20 发布
最新推荐文章于 2024-06-20 11:40:20 发布
阅读量478 收藏 1
点赞数 1
分类专栏： KAFKA 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/louzhu_lz/article/details/107218609
版权
本文介绍了Kafka的命令行操作，包括启动和停止Kafka服务、创建和删除Topic、使用生产者和消费者以及查看Topic详情。重点讲解了如何通过kafka-topics.sh和kafka-console-producer.sh等脚本进行操作，并提到了高版本Kafka中offset的本地维护以提高效率。
摘要由CSDN通过智能技术生成

KAFKA简单命令行操作

1、压缩包解压后，config目录下server.properties文件配置
唯一值：kafka集群中每台服务器的id值不一样且唯一
broker.id=0

取消注释：是否可以删除topic
delete.topic.enable=true

log.dirs=路径(数据所在路径)

zookeeper集群：机器名1:2181，机器名2:2181，机器名3:2181

zookeeper.connect=hadoop101:2181,hadoop102:2181,hadoop103:2181

端口号：listeners=PLAINTEXT://:9092

2、bin目录下使用的
kafka启动停止：kafka-server-start.sh和kafka-server-stop.sh
topic创建，删除和详细信息:kafka-topics.sh
测试环境生产者和消费者：kafka-console-producer.sh和kafka-console-consumer.sh

3、启动应用
启动ZK：bin目录下zkstart.sh，然后util.sh查看，确认启动成功 zkServer.sh status，看到leader或者follower代表启动成功
启动kafka：bin/kafka-server-start.sh config/server.properties

4、创建topic
bin/kafka-topics.sh --create -

最低0.47元/天 解锁文章
louzhu_lz
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Kafka压缩详解
如果对你有帮助点个赞, 非常感谢.
05-21 2337
Kafka压缩 文章目录Kafka压缩概括Kafka存储格式消息比较用可视化的方式分析结论 概括 需要理解kafka压缩则需要理解Kafka的存储格式. Kafka存储格式 RecordBatch baseOffset: int64 batchLength: int32 partitionLeaderEpoch: int32 magic: int8 (current magic value is ...
KAFKA简单操作
yanghuadong的博客
07-07 102
1.创建一个topic,3个分区和两个副本 [redis@node1 kafka_2.12-2.2.0]$bin/kafka-topics.sh -create --zookeeper node1:2181,node2:2181,node3:2181 -replication-factor 2 --partitions 3 --topic test 2.查看topic详细信息： [redis@node1 kafka_2.12-2.2.0]$ bin/kafka-topics.sh --describe --
Linux Kafka常用命令
最新发布
qq_50438358的博客
06-20 371
Linux中Kafka Bin目录文件介绍、常用命令
kafka命令行脚本使用
weixin_33817333的博客
01-14 75
zookeeper集群部署：http://www.cnblogs.com/ding2016/p/8280696.html kafka集群部署：http://www.cnblogs.com/ding2016/p/8282907.html 测试环境： 　　　　　　 测试流程：①主线：创建topoic，生产消息，消费消息； 　　　　　 ②流程命令会连接不同的节点，可以顺带检测集群消...
kafka从入门到精通 以及 kafka 与sparkStreaming的俩种连接方式 kafka 对接flume
weixin_43548518的博客
01-12 1412
前言： spark 官网提供了俩种和kafka的连接方式 第一种： Reciver方式 spark-streaming-kafka-0-8 第二种： 直连方式 spark-streaming-kafka-0-10 3台kafka 1T 吞吐量没问题 直连方式的使用指南 Reciver方式的使用指南 俩种连接方式的对比 ...
spring boot操作kafka例子
10-21
在Spring Boot中，我们通常使用Kafka AdminClient或者Kafka命令行工具来创建主题。例如，可以通过以下Java代码创建一个名为`my-topic`的主题： ```java @Autowired private KafkaAdmin kafkaAdmin; @...
自用kafka简单测试
05-08
标题中的“自用kafka简单测试”表明这是一个个人使用的、针对Kafka的简易测试环境或者脚本。Kafka是Apache软件基金会开发的一个开源流处理平台，最初由LinkedIn设计并贡献，现已成为大数据领域中用于实时数据流处理...
KafkaDemo示例
09-29
3. **创建主题**: 使用Kafka的命令行工具或编程接口创建一个主题，例如`kafka-topics.sh --create --topic myTopic --partitions 3 --replication-factor 2`创建一个包含3个分区，副本因子为2的主题。 4. **编写生产...
linux中如何操作kafka
10-07
Kafka提供了简单的命令行工具用于发送消息到指定的主题。 ```bash bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic_test ``` 运行此命令后，可以直接输入文本并按回车键发送消息。 **2....
电商数仓项目(七) kafka 安装、配置和简单操作 源码
03-09
在本电商数仓项目中，我们将深入探讨Apache Kafka的安装、配置以及基本操作。Kafka是一种分布式流处理平台，广泛应用于大数据实时处理和消息传递。它具有高吞吐量、低延迟、容错性强等特性，是构建现代数据架构的...
kafka常用命令
zhangmuqiang的博客
07-05 9370
bin/kafka-consumer-groups.sh --bootstrap-server $nodes --group $groupname --reset-offsets --all-topics --to-earliest --execute # 重设消费者组位移(待验证)bin/kafka-console-consumer.sh --bootstrap-server $nodes --topic $topicName --from-beginning # 使用消费者。
kafka运维命令大全
s
07-06 342
相关可选参数支持正则表达式匹配Topic来进行删除,只需要将topic 用双引号包裹起来 例如: 删除以为开头的topic;删除任意Topic (慎用)zk方式(不推荐)kafka版本 >= 2.2 支持下面方式（推荐）单个Topic扩容批量扩容 (将所有正则表达式匹配到的Topic分区扩容到4个) 正则表达式的意思是匹配所有; 您可按需匹配PS: 当某个Topic的分区少于指定的分区数时候,他会抛出异常;但是不会影响其他Topic正常进行;相关可选参数 | 参数 |描述 |例子| |--|--|--| |
kafka命令行操作大全
feiyan的博客
04-13 5593
最近利用flink使用一个流式SQL处理平台，利用kafka, mysql, hive等组件比较多，命令行突然间需要操作一次记不住命令很麻烦，索性直接整理成笔记。 在 0.9.0.0 之后的 Kafka，出现了几个新变动，一个是在 Server 端增加了 GroupCoordinator 这个角色，另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic(__consumer_offsets)中。 启动 Kafka 后台常驻方式，带上参数
kafka常用命令汇总(亲测自用)
全栈开发的博客
11-25 2969
kafka常用命令
一网打尽Kafka常用命令、脚本及配置，宜收藏！
程序IT圈
06-01 544
前言通过前面 7 篇文章的介绍，小伙伴们应该对 Kafka 运行工作原理有一个相对比较清晰的认识了。Kafka是什么？一起来看看吧！Kafka 安装及简单命令使用Kafka中消息如何被存...
kafka命令
qq_34975787的博客
02-10 166
kafka-console-producer.sh --broker-list node1:9092 --topic my-kafka-topic //my-kafka-topic时topic的名字。kafka 分区，当消费者大分区数的时候，会有多余的消费者处于空闲状态，所以可以以多线程的形式进行消费，生产者生产速度远大于消费者的问题（具体解决）6、如果需要查看topic的详细信息，需要使用describe命令。7、若不指定topic，则查看所有topic的信息。9.1、查看所有的消费者id情况。
zookeeper集群shell脚本全启动
疯狂的1024
07-14 6881
我们的zookeeper要全部都启动，我们不可能一次启动一个bin/zkServer.sh start。因为如果我们如果有100台集群的zookeeper，这个时候每一台都单独启动很麻烦，这个时候我们就使用shell脚本进行。这样我们只需要在集群的一个zookeeper上面运行一个shell脚本，这个就能将其他的zookeeper都启动。首先这个shell脚本代码：#!/bin/sh echo "...
Kafka消息队列基础用法及实例
`kafka-console-producer.sh`是一个简单的命令行工具，用于向Kafka主题发送消息。通过`--broker-list`参数指定集群中的节点列表，如`10.0.4.5:9092`。 6. **启动和管理Kafka服务器**: `kafka-server-start.sh`...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值