大数据：kafka：shell操作

最新推荐文章于 2024-01-26 12:07:21 发布

JinChao94

最新推荐文章于 2024-01-26 12:07:21 发布

阅读量307

点赞数

本文链接：https://blog.csdn.net/JinChao94/article/details/109504498

版权

大数据生态圈专栏收录该内容

24 篇文章 1 订阅

订阅专栏

开启zookeeper和kafka

bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties

创建主题

bin/kafka-toipcs.sh --zookeeper 集群地址 --create
                    --replication-factor  副本数量
                    --partitions 分区数量
                    --topic 主题名

修改topic主题数量

./bin/kafka-topics.sh --zookeeper 集群地址 --alter 
                      --topic 主题名
                      --partitions 分区数量

查看主题列表

bin/kafka-topics.sh --zookeeper 集群地址 --list

查看主题详情

bin/kafka-topics.sh --zookeeper 集群地址 --describe 
                    --topic 主题名

删除主题

bin/kafka-topics.sh --zookeeper 集群地址 --delete 
                    --topic 主题名

生产者发送消息

bin/kafka-console-producer.sh --broker-list broker地址
                              --topic 主题名

消费者消费消息

bin/kafka-console-consumer.sh --bootstrap-server broker地址 
                              --from-beginning 
                              --topic 主题名

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

JinChao94

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

《大数据： Kafka 安装与集群配置》

yexiangCSDN的专栏

11-19

191

一、Kafka 安装下载地址：http://kafka.apache.org/downloads 我这边用是 0.11.0.2 版本名字说明： 2.11 指的是 scala 语言版本号， 0.11.0.2 真正的kafka 版本号 1. 解压包 tar -xzvf kafka_2.11-0.11.0.2.tgz -C /opt/soft/ 2. 修改配置 config/server.properties log.dirs这里不是存放log的地方，而是数据存放位置 kafka需...

大数据Kafka（四）：kafka的shell命令使用

Lansonli（蓝深李）的博客

08-08

2368

全网最详细的大数据Kafka文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章 Kafka的shell命令使用一、创建topic 二、生产消息到kafka 三、从kafka中消费消息四、查看主题的命令五、运行describe的命令六、增加topic分区数七、删除topic 八、使用kafka Tools操作Kafka 系列历史文章 2021年大数据Kafka（四）：❤️kafka的shell命令使用...

参与评论您还未登录，请先登录后发表或查看评论

Kafka学习笔记（四）—— Shell 操作

AidenBrett7的博客

11-20

389

Kafka—— Shell 操作一、Kafka shell 操作1、创建topic2、查看主题命令3、生产者生产数据4、消费者消费数据5、运行describe topics命令6、增加topic分区数7、增加配置8、删除配置9、删除topic 一、Kafka shell 操作 1、创建topic 创建一个名字为test的主题，有三个分区，有两个副本 node01执行以下命令来创建topic ...

shell脚本向Kafka里生产数据

xunfengdumo的博客

07-03

3404

开始写脚本的时候，不知道如何把数据不用手动写入Kafka，只能在屏幕上单个输入。 #!/bin/bash kafkaPath=/****自己kafka的路径****/ zkaddress=127.0.0.1:2181 kafkaaddress=127.0.0.1:9092 topic_key="YM" $kafkaPath/bin/kafka-topics.sh --create --zookeeper ${zkaddress} --replication-factor 1 --partitions 1 -

shell脚步向kafka发送消息_shell脚本并发数据到kafka topic

weixin_33431252的博客

02-11

1537

shell脚本并发数据到kafka topic需求：每秒发送大量数据到kafka，验证下游系统性能，数据中的时间戳要求为当前时间，可以之间采集系统当前时间替换文件中旧的时间戳，保证每次发送的数据都为最新时间。利用kafka自带的脚本，将待发数据写入文件中，然后通过读取文件方式，将数据批量发送到kafka task节点#在kafka master 节点用户home 目录下创建data 目录[roo...

Kafka基础和shell操作（一）

niko_csdn的博客

12-15

2333

Kafka 官方网页：https://kafka.apache.org/documentation/#producerapi 专有名词 MQ:消息队列是一种异步的服务间通信方式,是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构;【基于队列的消息传递或缓存，有发布订阅模式、点对点模式两种模式】 kafka是MQ中的一种： Broker：kafka是一个分布式集群，由多台服务器构组成，每天kafka的节点就是一个Broker； Producer：

【shell-10】shell实现的各种kafka脚本

最新发布

笔生花的博客

01-26

2215

因为经常要用kafka环境参与测试，所以写了不少脚本。在很多时候可以大大提高测试的效率。topic数据传输【file数据录入到topic,topic数据下载到本地文件】此文件是个额外的日志文件主要用于打印日志，该文件会被下面的shell文件引用。topic信息查看【topic列表，topic groupid 消费情况】脚本中做了各种检查，日志的输出做了颜色区分，用起来没啥问题。topic的管理【创建，删除】

大数据之Kafka（三）：Kafka 与 Flume的整合及架构之道

Oak_Komorebi的博客

08-21

2150

一、Kafka和Flume的整合 1.1 部署实施 Flume主要是做日志数据（离线或实时）的采集。下图显示的是flume采集完毕数据之后，进行的离线处理和实时处理两条业务线，本文将介绍flume和kafka的整合处理。创建整合的topic # kafka-topics.sh --create \ --topic flume-kafka \ --zookeeper bigdata01:2181/kafka \ --partitions 3 \ --replication-factor 3.

大数据Kafka（三）：Kafka的集群搭建以及shell启动命令脚本编写

Lansonli（蓝深李）的博客

08-06

2731

为了方便将来进行一键启动、关闭Kafka，我们可以编写一个shell脚本来操作。将来只要执行一次该脚本就可以快速启动/关闭Kafka。Kafka的所有执行脚本都在这里。例如：启动Kafka服务器、创建Topic、生产者、消费者程序等等。Kafka的所有日志文件，如果Kafka出现一些问题，需要到该目录中去查看异常信息。或者通过 zookeeper查看 brokers节点目录下, 是否有三个ids。运行Kafka所需要的所有JAR包。Kafka的所有配置文件。Kafka的网站帮助文件。

kafka：kafka群集的图像

02-18

在Shell环境中，你可以使用`kafka-topics.sh`、`kafka-console-producer.sh`和`kafka-console-consumer.sh`等脚本来管理主题、发送消息和消费消息。例如： - 创建主题：`bin/kafka-topics.sh --create --topic my-...

shell自动生产带随机延迟时间戳JSON数据到kafka

JavaBigData的博客

02-27

349

【代码】shell自动生产带随机延迟时间戳JSON数据到kafka。

使用shell读取文本文件发送到kafka

weixin_34413065的博客

01-17

2717

#!/bin/sh ## 参数定义 dt=`date +"%Y%m%d" -d "-1 days"` outpath=/xxxx_log_${dt}.txt brokerlist=192.168.1.100:9092,192.168.1.101:9092,192.168.1.102:9092 echo $dt $outpath $brokerlist ## 查询h...

kafka 客户端基础指令操作（shell，crt）

u010025966的博客

07-03

951

offset操作 $ 最大offset kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test_topic --time -1 $ 最小offset kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test_topic --time -2 $ offset kafka

kafka实战教程(python操作kafka)，kafka配置文件详解

07-13

7万+

什么是kafka 安装参考:https://www.cnblogs.com/hei12138/p/7805475.html

shell脚步向kafka发送消息_Kafka快速入门系列(3) | Kafka常用脚本介绍及简单的shell操作...

weixin_39687990的博客

12-23

274

本篇博主带来的是Kafka常用脚本介绍及简单的shell操作。一. Kafka常用脚本至于怎样查看脚本，我们可以查看Kafka/bin目录，下图标记即为常用的脚本1.kafka-topics.sh：对topic进行增删改查2.kafka-server-start.sh：启动脚本3.kafka-server-stop.sh：关闭脚本4.kafka-consumer-groups.sh：展示所有的消费...

发送kafka消息的shell脚本

程序员欣宸的博客

03-08

6393

开发和学习时需要造一些kafka消息，于是写了段脚本实现，在这里记录备忘，后面会常用到；环境信息 Kafka：2.0.1 Zookeeper：3.5.5 shell脚本运行环境：MacBook Pro （系统：10.15.3 (19D76)）脚本内容下面是脚本sendmessage.sh的内容，带有详细注释： #!/bin/sh #响应Ctrl+C中断 trap 'onCtrlC'...

Kafka Shell基本命令（包括topic的增删改查）

06-27

4386

原文：http://www.cnblogs.com/xiaodf/p/6093261.html 转载请注明出处：http://www.cnblogs.com/xiaodf/ 创建kafka topic查看所有topic列表查看指定topic信息控制台向topic生产数据控制台消费topic的数据查看topic某分区偏移量最大（小）值增加topic分区数删除topic，慎用，只会删除

9. kafka shell脚本用法详解

阿飞Javaer的专栏

07-14

1万+

kafka安装目录下的bin目录包含了很多运维可操作的shell脚本，列举如下：脚本名称用途描述 connect-distributed.sh 连接kafka集群模式 connect-standalone.sh 连接kafka单机模式 kafka-acls.sh todo kafka-broker-api-versions.sh ...

多个程序向同一个kafka topic写入数据

www.hohode.com

05-03

8212

经测试, 在多个程序同时向同一个kafka topic中写入数据, 不会出现数据冲突或者丢失的情况.测试数据:向kafka中写数据program instance 1 : 10000条数据 program instance 2 : 10000条数据 program instance 3 : 10000条数据同时启动上述3个程序, 程序每次写完一条数据,sleep 50ms.从kafka中读取数据

大数据常见问题及解决方案：Kafka与Spark坑点解析

1. Spark启动异常：当使用`./bin/spark-shell`启动Spark时，可能会遇到`java.net.BindException: Can't assign requested address`的错误。这是因为SparkDriver无法绑定到可用的网络接口。解决方法是在`spark-env.sh...