kafka

已于 2022-09-22 16:33:26 修改
阅读量1.2k 收藏
点赞数
分类专栏： 其他 文章标签： kafka zookeeper 分布式
于 2021-12-13 09:42:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/geneartion_z/article/details/121898601
版权

cd /usr/hdp/3.1.4.0-315/kafka/bin
查询列表
kafka-topics.sh --list --zookeeper datalake-spark1:2181

创建
./kafka-topics.sh --create --topic zz2zj --zookeeper datalake-spark1:2181 --partitions 3 --replication-factor 3

./kafka-topics.sh --create --topic pqbds --zookeeper datalake-spark1:2181 --partitions 3 --replication-factor 3

删除
bin/kafka-topics.sh --delete --zookeeper pb1:2181 --topic wzsstopic
消费者
bin/kafka-console-consumer.sh --bootstrap-server pb1:6667,pb2:6667,pb3:6667,pb4:6667,pb5:6667 --topic wzsstopic
生产者
bin/kafka-console-producer.sh --broker-list pb1:6667,pb2:6667,pb3:6667,pb4:6667,pb5:6667 --topic testtopic

cd /usr/hdp/3.1.4.0-315/kafka/ && bin/kafka-console-consumer.sh --bootstrap-server pb1:6667,pb2:6667,pb3:6667,pb4:6667,pb5:6667 --topic testtopic --from-beginning

/usr/hdp/current/flume-server/bin/flume-ng

/usr/hdp/current/flume-server/bin/flume-ng agent --conf /usr/hdp/current/flume-server/conf/ --conf-file /data/ftpuser1/flume/aqjc.conf --name aqjc -Dflume.root.logger=INFO,console

Geneartion_Z
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java测试Kafka生产者和消费者
不忘初心的专栏
06-10 2565
一、环境准备请看上篇文章介绍kafka的部署与安装，安装成功之后，启动kafka。在Gradle中引入kafka-client依赖 compile group: 'org.apache.kafka', name: 'kafka-clients', version: '1.1.0'二、生产者创建使用topic为testimport java.util.Properties; import org.a...
kafka中关于消息的命令
wyqwilliam的博客
12-11 1965
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test6 --from-beginning bin/kaf...
kafka-生产消费实验
xiao_bai111的博客
05-17 525
进行kafka的生产及消费实验测试样例 1，创建topic，分区数4，副本因子1 .\kafka-topics.bat --zookeeper localhost:2181 --create --topic my_topic_name --partitions 4 --replication-factor 1 2，创建一个消费者属于消费者组my-group .\kafka-console-consumer.bat --bootstrap-server localhost:9092 --group my-
kafka 命令列表
大树叶 技术专栏
02-07 370
kafka 基于0.8.0版本的命令用法： 查看topic分布情况kafka-list-topic.sh# bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 （列出所有topic的分区情况） # bin/kafka-list-topic.sh --zookeeper 192.168.197
Kafka：生产者压测和消费者压测
程序员无羡的博客
04-06 1616
Kafka：生产者压测和消费者压测
kafka 插件kafka 插件kafka 插件
06-26
**Kafka插件详解** Kafka插件是Apache Kafka与各种工具集成的重要组成部分，它使得开发者和运维人员能够更方便地在不同的系统中利用Kafka的功能。Kafka是一款分布式流处理平台，常用于构建实时数据管道和流应用，...
5、kafka监控工具Kafka-Eagle介绍及使用
05-29
Apache Kafka 是一个分布式流处理平台，常用于构建实时的数据管道和应用。Kafka 提供了高吞吐量、低延迟的消息传递能力，是大数据领域中重要的消息队列（MQ）解决方案。Kafka-Eagle 是针对 Kafka 集群设计的一款高效...
kafka2种工具 kafkatool-64bit.exe kafka-eagle-bin-1.4.6.tar.gz
01-27
在IT行业中，Kafka是一种广泛使用的分布式流处理平台，它由Apache软件基金会开发，主要用于构建实时数据管道和流应用。本文将围绕标题和描述中提到的两种Kafka工具——kafkatool-64bit.exe和kafka-eagle-bin-1.4.6....
kafka-3.5.1
09-27
开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，...
kafka-2.12-3.6.1.tgz
12-19
《Kafka 2.12-3.6.1在Linux环境下的快速部署与使用》 Kafka，作为一款高效、可扩展且持久化的分布式消息中间件，被广泛应用于大数据实时处理、日志收集和流处理等场景。本文将详细介绍如何在Linux环境下部署并使用...
kafka监控获取指定topic的消息总量示例
09-18
今天小编就为大家分享一篇kafka监控获取指定topic的消息总量示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
kafka 基础知识梳理
weixin_30849591的博客
08-14 199
一、kafka 简介 kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 1.1 kafka名词解释 producer：生产者。 consumer：消费者。 topic: 消息以...
程序模拟完成kafka生产者和消费者实验
大数据
04-07 1108
kafka上的操作 1、启动kafka cd zookeeper/apache-zookeeper-3.7.0-bin/ bin/zkServer.sh start cd cd kafka/kafka_2.12-3.0.0/ bin/kafka-server-start.sh -daemon config/server.properties 2、在kafka上创建一个话题test bin/kafka-topics.sh --bootstrap-server westgisB.
黑猴子的家：kafka-topic-list.sh
黑猴子的博客
05-05 699
[alex@hadoop102 ~]$ cd /usr/local/bin/ [alex@hadoop102 bin]$ sudo touch kafka-topic-list.sh [alex@hadoop102 bin]$ sudo chown alex:alex kafka-topic-list.sh [alex@hadoop102 bin]$ chmod 755 kafka-topic-...
kafka-消费者组-点对点测试
最新发布
小丁的博客
05-28 720
kafka-消费者组-点对点测试。
Kafka系列：生产消费消息测试Demo
chunmiao3032的专栏
07-19 286
Kafka系列：生产消费消息测试Demo 生产消息 app/kafka/kafka_2.12-2.1.0/bin/kafka-console-producer.sh --broker-list 192.168.40.148:9092 --topic demo 消费消息 /app/kafka/kafka_2.12-2.1.0/bin/kafka-console-consumer.sh --bootstrap-server 192.168.40.148:9092 --topic demo #从0开始消..
Kafka客户端API----简单消费者和生产者测试
oneslide
01-29 1111
Prerequisites 搭建一台Kafka的服务器，我的搭建在Liunx上。使用Kafka Client API进行生产者和消费者的简单测试。这里使用Spring Boot的框架但没有使用Spring boot for Kafka，而是使用普通的Java API. 项目构建 Maven文件是不加任何依赖的Spring Boot的应用，加上一个Kafka Client 依赖。 <!-- ...
如何使用Jmeter对Kafka进行性能测试
热门推荐
shan286的专栏
04-07 1万+
最近决定把阿里云的消息服务MNS换成Kafka，作为一个测试人员，当然要了解它，测试它。所以，把自己学习和使用的一些经验记录在本文中，研究如何去使用Apache JMeter测试Kafka。 首先，先来了解一下什么是Kafka。 A Brief Overview of Apache Kafka 在一个大型的分布式系统中，通常有很多服务生成不同的事件：日志、监视数据、可疑用户操作等等。在Kafk...
kafka消费者接收分区测试
PacosonSWJTU的博客
12-12 1429
【README】 本文演示了当有新消费者加入组后，其他消费者接收分区情况； 本文还模拟了 broker 宕机的情况； 本文使用的是最新的 kafka3.0.0 ； 本文测试案例，来源于 消费者接收分区的5种模型，建议先看模型，refer2 https://blog.csdn.net/PacosonSWJTU/article/details/121853461https://blog.csdn.net/PacosonSWJTU/article/details/121853461 【1】kafka测..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值