kafka命令行

最新推荐文章于 2023-09-28 00:41:20 发布
最新推荐文章于 2023-09-28 00:41:20 发布
阅读量1.1k 收藏
点赞数
分类专栏： 数据仓库技术体系 文章标签： kafka 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenshijie2011/article/details/127896120
版权
本文介绍了如何在命令行中启动Kafka和Zookeeper，通过jps检查它们的状态，创建topic，以及使用生产者和消费者工具进行数据发送与接收。此外，还推荐了一个实用的Kafka管理工具。
摘要由CSDN通过智能技术生成

1、启动
cd /home/hadoop/kafka_2.12-0.10.2.1/bin
nohup ./zookeeper-server-start.sh ./config/zookeeper.properties & 启动zookeeper
nohup ./kafka-server-start.sh ./config/server.properties & 启动kafka broker

2、检查kafka是否启动成功，通过jps查看jps是否启动成功

3、通过创建一个topic来测试是否能成功运行，随便选择一个节点运行

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic user_ippv

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic result_total_pvuv_min

Created topic “test”.
4、生产者
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic user_ippv

5、消费者
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic result_total_pvuv_min --from-beginning

在此推荐一个好用的kafka tools: https://www.kafkatool.com/download.html

科学的N次方
关注
专栏目录
订阅专栏
kafka启动成功之后，jps过一会不显示进程的解决方法
码农研究僧的博客
08-24 2896
最主要是kafka异常关闭，会把之前的未关闭的id记录在meta.properties文件中，重新启动会显示当前id与文件id不同，导致程序无法执行，kafka无法启动。修改meta.properties的配置文件，将其内部的cluster.id修改为对应报错日志提示的id，我的具体如下：Hf69pUKBS9uhtVVKxhlpMQ。启动zookeeper之后在启动kafka，通过jps显示kafka还在，但是过了几秒之后，发现kafka不在了，那就是kafka启动不成功。即可成功显示kafka的进程。
Kafka命令行操作
dreamer__rmj的博客
12-17 231
Kafka命令行操作 上一篇讲到安装kafka这篇分享一下kafka命令 -查看当前服务器中的所有topic [renmeijing@master kafka]$ bin/kafka-topics.sh --zookeeper master:2181 --list 创建topic [renmeijing@master kafka]$ bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 1 --partition
kafka消息监控(linux运行_window查看)
07-20
该工具主要用于查看kafka topic生产者和消费者信息
kafka启动了，jps却没有
Knight
06-23 7198
启动命令 bin/kafka-server-start.sh -daemon config/server.properties 首先去看日志 发现端口被占用了 查看，并杀死
Kafka非正常关闭后启动，jps显示有kafka，然后又没有了
weixin_46373361的博客
06-02 1618
kafka集群启动失败 大多数人的虚拟机可能长时间开启，断电虚拟机关闭，或者进程关闭顺序zookeeper在kafka之前关闭。 会导致kafka在zookeeper中注册的零时节点没有销毁。下次kafka启动时，同样跑去注册，发现zookeeper中kafka的brokers/ids不为空，就会默认已经启动。kafka就不会在启动。 [zk: localhost:2181(CONNECTED) 12] ls /kafka/brokers/ids [1, 2, 3] [zk: localhost:2181(
jps查看进程无法显示
qq_51653817的博客
03-19 1239
解决jps不显示进程的方法
kafka命令行常用命令详解
tyh1579152915的博客
11-14 579
（1）查看当前服务器中的所有 topic bin/kafka-topics.sh --zookeeper hadoop100:2181 --list 目前没有主题，所以没有输出，下面我们创建一个主题 （2）创建通topic bin/kafka-topics.sh --zookeeper hadoop100:2181 --create --replication-factor 1 --partitions 2 --topic first 选项说明： --topic 定义 topic .
kt：喜欢JSON的Kafka命令行工具
01-30
kt-一种喜欢JSON的Kafka工具 您可能感兴趣的一些原因： 在特定偏移量之间的特定分区上使用消息。 显示主题信息（例如，具有分区偏移量和领导者信息）。 修改使用者组偏移量（例如，重置或手动设置每个主题和每个...
kafka 命令行工具常用命令行操作
勇敢前行,一路向前
01-06 393
1 数据命令 1.1 启动kafka服务 zookeeper：主要设置clientPort（使用kafka自带的zookeeper） bin/zookeeper-server-start.sh config/zookeeper.properties bin/zookeeper-server-start.sh config/zookeeper.properties start kafka server: bin/kafka-server-start.sh config/server.prope...
【BUG处理】jps命令，无法正常显示进程
weixin_47011327的博客
09-25 3153
出错现象：1.启动hdfs，再输入jps时发现进程没有正确显示。 2.查看日志datanodes，发现有错 3.查看日志namenode，会出现这样的错误：Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority. 解决方法： 1.有可能是之前格式化多次或者是手动输入了主要配置文件（有时候即使肉眼看起来内容一样，但其中也有可以会出现错误，所以建议配置文件最好是去复制粘贴。相关配置文件可以.
个人搭建遇到zookeeper启动jps没有进程原因
qq_37377136的博客
02-19 5223
搭建问题遇到的总结几点，便于找查问题 1）检查配置文件是否有问题 dataLogDir=/kafka/zookeeperlogs （记得不要写错单词） 坑点一： zookeeper 配置文件 dataLogDir=/kafka/zookeeperlogs （记得不要写错单词） 坑点二： 在配置的dataDir 下创建myid文件，内容就是对应的你当前 ip 下的 server.x myi...
kafka巨坑 启动失败
qq_36912167的博客
07-01 847
今天启动kafka遇到了一个巨坑，执行启动命令居然不报错(启动命令是错的配置文件多了一个字符串) 如下 可以明显发现图一多了一个字母t，图二是对的，但kafka对于图一没有报错。
【Kafka专题】Kafka快速实战以及基本原理详解
最新发布
qq_32681589的博客
09-28 1345
​ ChatGPT对于Apache Kafka的介绍：Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发并于2011年开源。它主要用于解决大规模数据的实时流式处理和数据管道问题。Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。Kafka消息系统由多个broker（服务器）组成，这些broker可以在多个数据中心之间分布式部署，以提供高可用性和容错性。Kafka的基本架构由生产者、消费者和主题（topic）组成。
Linux下启动Kafka集群无响应(解决)
chaojiyingxiong的博客
03-14 4650
kafka启动，zookeeper启动，连接超时
Kafka 配置指南
DAweibeke的博客
01-27 569
文章目录一、简介1.1、概述1.1.1、Apache Kafka是 一个分布式流处理平台.1.1.2 、Kafka适合什么样的场景?1.1.3 Kafka的特性1.1.4 、Topics和日志1.1.5 、分布式1.1.6 、生产者1.1.7 、消费者1.1.8 、保证1.1.9 、Kafka作为消息系统1.1.10 、Kafka 作为存储系统1.1.11 、Kafka用做流处理1.1.12 、批处理二、安装Kafka2.1 、kafka的下载与解压2.1.1 、通过Wget指令下载Kafka2.1.2 .
kafka搭建及应用
CD
01-21 1756
kafka企业级消息系统 1、了解为什么要使用消息系统 在没有使用消息系统以前，我们传统对于多业务、夸服务消息传递的时候，会采用串行方式或者并行方法； 串行方式： 用户注册实例：将注册信息写入数据库成功后，发送注册邮件，在发送注册短信。 并行方式： 将注册信息写入数据库成功后，发送注册邮件的同事，发送注册短信。以上三个任务完成之后，发挥给客户端，与串行的差别是并行的方式...
Kafka常用命令
热门推荐
Be yourself.
12-28 2万+
Kafka基本操作命令感觉最近有一阵子没有玩Kafka了，都有点生疏了，我们今天就来讲解如何使用命令操作Kafka： 启动命令 创建Topic 查看Topic列表 删除Topic Producer和Consumer 写入和消费数据 其他命令 根据前一篇如何在阿里云上构建Kafka系统，想必大家都已经知道了如何配置Kafka了，但是有了Kafka后应当如何进行下一步的操作呢？这便是本节的主要内容了。1
kafka命令行操作
09-14
Kafka 是一个分布式流处理平台，它常用于构建高性能、可扩展的实时数据流应用程序。下面是一些常用的 Kafka 命令行操作： 1. 启动 Kafka 服务器: ``` bin/kafka-server-start.sh config/server.properties ``` 2. 创建一个主题（Topic）: ``` bin/kafka-topics.sh --create --topic <topic_name> --bootstrap-server <broker_host:port> --partitions <num_partitions> --replication-factor <replication_factor> ``` 3. 列出所有主题: ``` bin/kafka-topics.sh --list --bootstrap-server <broker_host:port> ``` 4. 查看主题详情: ``` bin/kafka-topics.sh --describe --topic <topic_name> --bootstrap-server <broker_host:port> ``` 5. 发送消息到主题: ``` bin/kafka-console-producer.sh --topic <topic_name> --bootstrap-server <broker_host:port> ``` 6. 从主题消费消息: ``` bin/kafka-console-consumer.sh --topic <topic_name> --bootstrap-server <broker_host:port> [--from-beginning] ``` 这些是一些常见的 Kafka 命令行操作，你可以根据需要进行调整和组合使用。请注意，<topic_name> 是你要创建或操作的主题名称，<broker_host:port> 是 Kafka 服务器的地址和端口，<num_partitions> 是主题的分区数，<replication_factor> 是主题的副本因子。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科学的N次方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值