kafka

大白_dev

已于 2024-01-03 16:38:45 修改

阅读量369

点赞数 6

文章标签： kafka 分布式

于 2023-12-29 14:28:38 首次发布

本文链接：https://blog.csdn.net/weixin_45711074/article/details/135290338

版权

安装（win的.tgz压缩包 要用cmd命令“ar -xvzf”解压）

【Kafka】Windows下安装Kafka（图文记录详细步骤）_windows安装kafka-CSDN博客

kafka Tool可视化工具

Offset Explorer

启动kafkaServer（写了个kafkaServer.bat脚本）

E:
cd .\Enviroment\kafka_2.12-2.8.2
.\bin\windows\kafka-server-start.bat .\config\server.properties

kafka集群

复制三个kafka文件夹

给每个kafka修改配置文件"E:\Enviroment\kafka-cluster\kafka1\config\server.properties"

给每个kafa写一个kafkaServer.bat脚本文件

E:
cd .\Enviroment\kafka-cluster\kafka1
.\bin\windows\kafka-server-start.bat .\config\server.properties

启动集群：（依次点击每个kafka的刚刚步骤写号的kafkaServer.bat脚本文件，进行启动）

问题(已解决)：点击脚本文件启动kafka秒退，原因是文件夹名字太长或者路径太长

使用kafka可视化工具查看集群（能看到三个broker）

优惠劵

大白_dev

关注关注

6
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
kafka

要用cmd命令“ar -xvzf”解压）
复制链接

扫一扫

【微服务】springboot整合kafka-stream使用详解

congge

12-24

9474

kafka stream使用详解

SpringBoot集成kafka全面实战

热门推荐

Felix

03-28

20万+

本文是SpringBoot+Kafka的实战讲解，如果对kafka的架构原理还不了解的读者，建议先看一下《大白话kafka架构原理》、《秒懂kafka HA（高可用）》两篇文章。一、生产者实践普通生产者带回调的生产者自定义分区器 kafka事务提交二、消费者实践简单消费指定topic、partition、offset消费 ...

参与评论您还未登录，请先登录后发表或查看评论

Kafka 副本

02-11

3万+

follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉（HW之前每个节点都有，故安全），从HW开始向leader进行同步。leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件高于HW的部分截掉，然后从新的leader同步数据。HW：指的是消费者能见到的最大的offset，ISR队列中最小的LEO。

kafka常用命令

zhangmuqiang的博客

07-05

8295

bin/kafka-consumer-groups.sh --bootstrap-server $nodes --group $groupname --reset-offsets --all-topics --to-earliest --execute # 重设消费者组位移(待验证)bin/kafka-console-consumer.sh --bootstrap-server $nodes --topic $topicName --from-beginning # 使用消费者。

【Kafka】Windows下安装Kafka（图文记录详细步骤）

tttzzzqqq2018的博客

08-06

2万+

(一)、Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 (二)、Kafka 本质上是⼀个消息队列。与zeromq不同的是，Kafka是一个独立的框架而不是一个库。通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。

Kafka集群部署

想你依然心痛的博客

06-15

5万+

好了，Kafka的集群部署我们就讲到这里了，这几篇主要针对大数据集群环境的搭建进行了讲解，包括创建虚拟机、Linux操作系统的安装与配置、安装JDK、ZooKeeper集群部署、Hadoop集群部署、Spark集群部署、HBase集群部署以及Kafka集群部署。通过这几篇的学习，希望读者熟悉大数据集群环境的搭建流程，并掌握ZooKeeper、Hadoop、Spark、HBase和Kafka集群的部署，为后续项目的开展奠定基础。启动Kafka集群时，需要确保ZooKeeper集群是正常启动的。

kafka 开启认证授权

最新发布

卷心菜投手

10-10

3306

kafka Kraft 模式用户名密码认证

kafka 汇总

小灰狼与大白兔的博客

02-16

5439

部署以及简单介绍 kafka的简单介绍以及docker-compose部署单主机Kafka集群 Java原生API kafka客户端操作之Admin API kafka 客户端之producer API发送消息以及简单源码分析 kafka 客户端之producer API发送消息（自定义负载均衡实现）与负载均衡调用源码分析 Kafka producer的事务和幂等性 kafka Java客户端之 consumer API 消费消息 kafka Java客户端之 consumer API 多线程消费消息 ka

【kafka】Kafka 可视化工具Kafka Eagle安装和使用

michaelwoshi的博客

04-08

2万+

一、背景 Kafka产线环境需要管理的Topic和Consumser越来越多，使用命令行工具进行管理会非常繁杂。因此，大数据平台上需要一套Kafka的管理监控系统，Kafka-Eagle。 Kafka Eagle是一个用于监控和管理kafka的开源组件，可以同时监控多个kafka集群。 Kafka Eagle提供了完善的监控页面和kafka常用操作的管理界面，便于管理员对kafka集群进行运维管理。 Kafka Eagle提供了KSQL操作的可视化界面，让你可以非常快速的查看kafka中的消息。 K

Maven项目整合Kafka

03-12

使用Maven整合Kafka 包括生产者，消费者 Kafka各种配置 //1.设置参数 Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "81.68.232.188:9092,81.68.232.188:9093,81...

kafka 插件kafka 插件kafka 插件

06-26

kafka 插件

kafka-map工具

08-02

kafka-map是一个连接kafka的页面工具

kafka学习资料ppt

06-27

大数据，kafka

kafka-3.5.1

09-27

开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，...

ansible-kafka

05-22

humio.kafka Kafka安装程序可与Humio一起运行要求该角色必须有权访问Zookeeper的安装角色变量请参阅。在无法访问互联网的机器上，可以将kafka_mirror变量设置为"master"以从主目录的文件目录中复制Kafka ...

03-24

07-12

KAFKA

06-01

指的是在空闲分区链表中找到最小的能够满足要求的空闲分区进行分Kafka是一种分布式流处理平台，它具有高吞吐量、可扩展性和容错性配。具体实现过程如下： ```c #include #include // 内存块头等特点。它主要由三...

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交