00_概览_kafka

最新推荐文章于 2024-10-05 14:02:35 发布
最新推荐文章于 2024-10-05 14:02:35 发布
阅读量600 收藏 8
点赞数 15
文章标签： kafka 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DXH9701/article/details/142681021
版权

kafka

概述

课程地址为 https://www.bilibili.com/video/BV1Gp421m7UN/

kafka版本

2.12-3.6.1
在这里插入图片描述

流程

在这里插入图片描述

启动zk

配置zk

需要启动zk,作为注册中心
kafka内置了zk,直接命令启动即可
在 kafka 的 config目录下,修改zookeeper.properties 配置文件

# 这里面配置的是有关数据存放的目录
dataDir=E:/kafka/kafka2.xxx/data/zk

启动命令

在 kafka/bin/windows 下,找到 zookeeper-server-start.bat,运行如下命令…/…/config/zookeeper.properties 文件

zookeeper-server-start.bat  ../../config/zookeeper.properties

这么一来,可以直接启动zk.出现如下图: 启动成功
在这里插入图片描述

启动kafka

修改server.properties

修改 log.dirs 的值
在这里插入图片描述

启动命令

kafka-server-start.bat config.properties

kafka脚本-命令行操作

提供了一定的脚本,通过脚本操作kafka
可以进行创建主题 发送消息等操作

命令行

创建主题脚本

相关脚本
kafka-topics.bat
kafka提供的主题脚本
创建 test 主题

kafka-topics.bat --bootstrap-server localhost:9092 --topic test --create

查看主题

kafka-topics.bat --bootstrap-server localhost:9092 --list

主题详情

kafka-topics.bat --bootstrap-server localhost:9092 --topic test --describe

修改主题

kafka-topics.bat --bootstrap-server localhost:9092 --topic test --alter --partitions
在这里插入图片描述
将红圈部分改为2
效果如下
在这里插入图片描述

删除主题

kafka-topics.bat --bootstrap-server localhost:9092 --topic test --delete
windows环境下会导致kafka停止运行的错误
由于权限或进程锁定,会导致kafka被关闭

大量日志

由于JDK版本问题导致

解决方案
  1. 切换JDK17
  2. 在kafka-run-class.bat 中设置 java_home
    在这里插入图片描述

控制台生产者消费者

通过控制台控制生产
启动生产者脚本
消费者启动脚本
生产者发送消息,消费者自动获取消息

代码 生产者 消费者

只引入 kafka 的依赖.进行代码
生产者 创建 topic 以及 消息
消费者 订阅 topic 以及消费消息

<dependencies>
	<dependency>
	<groupId>org.apache.kafka</groupId>
	<artifactId>kafka-clients</artifactId>
	<version>3.6.1</version>
	</dependency>
</dependencies>

具体代码请百度.只引入 kafka-client即可.

kafka-tool

在这里插入图片描述
这里百度去学习

kafka数据文件

.log结尾的就是数据文件
因为 kafka 以前是做日志传输的.

扩展

横向扩展

增加机器

纵向扩展

增加内存 硬盘 宽带等…

分区

运行多个kafka实例. 对 kafkaBroker 的相同topic进行编号.
这叫做分区
生产者向不同分区传送数据

消费者组

消费者消费所有的分区topic

备份

可以对数据文件进行备份.
分区备份
同一 topic 的是数据文件备份到其他分区的broker上面
在这里插入图片描述
但是多个副本,只有一个副本能够提供数据的读写.其他是从节点,负责备份

分区

Leader Follower
Partition 分区
Broker 服务节点集群
Broker Controller: Broker 服务节点集群管理者
Broker Controller Standby : 服务集群管理者备份

Controller选举

BrokerController down之后,Standby启动.
BrokerStandbyController启动.
BrokerStandbyController出现问题,可以继续选择其他主体 Broker ,选举出来一个BrokerController

图解kafka架构

KogManager: 数据管理器
在这里插入图片描述

Windows集群

cluster目录

创建cluster目录在硬盘根目录.解压 kafka,复制到该目录.如图
在这里插入图片描述

zk

修改kafka自带的zkdata存放目录.然后启动
在这里插入图片描述

broker_1

在这里插入图片描述
在这里插入图片描述

broker_2

和 broker_1 一样

broker_3

和 broker_2 一样

kafka & zk启动脚本

略...

cluster.bat cluster-clear-data.bat

略...

znode节点

临时节点 持久化节点

watch 节点监听

监听kafka的客户端.

kafka在zookeeper中的组成

略…

zk选举kafka

假设一共三个kafka节点
brokerController1 down了.
剩下的两个节点,监听zk,发现broker1掉了之后,会发起请求,谁的请求先到.谁就是 新的 brokerController

副本分配

对副本进行分配,放到不同的broker中

副本分配策略

…

发送数据流程

在这里插入图片描述
总的就是这张图
在这里插入图片描述

生产数据

消费数据

拦截器

添加拦截器

在这里插入图片描述

实现自定义拦截器

public class ValueInterceptorTest implements ProducerInterceptor<String>{
	
}

在这里插入图片描述

分区器 分区计算策略

发送消息.

自定义分区器

实现接口重写方法

public class myKafkaParationer implements Partitioner{}

在这里插入图片描述

分区计算策略

略...

数据收集器

数据发送者

异步数据发送回调

producer.send(msg,callBackMethod);

在这里插入图片描述

同步发送数据回调

在这里插入图片描述
这就同步操作了

应答处理级别

ack 的值

ack == 0
ack == 1
ack == all(-1)
ack == 0
ack == 1
ack == -1(all)

kafka幂等性

初始化事务

在这里插入图片描述
prodicer.initTransaction(); // 开启事务

prodicer.commit(); // 提交事务

prodicer.abortTranscation(); // 终止事务

存储文件类型

刷写数据条件

在这里插入图片描述

一条数据就从内存刷到硬盘上

存储数据

路上^_^
关注
kafka_2.13-2.8.1.tgz
11-15
1. **Kafka架构概览** Kafka基于发布/订阅模型，由Producer（生产者）、Broker（代理服务器）、Consumer（消费者）三大部分构成。Producer负责将消息发布到特定主题（Topic），Broker接收并存储这些消息，Consumer...
11_Kafka.docx
06-18
- **Producer概览**：深入探讨 Producer 的工作原理及其关键特性。 - **创建 KafkaProducer对象**：介绍如何使用 Java API 创建 KafkaProducer 实例。 - **发送消息到 Kafka**： - **同步发送**：发送消息后等待 ...
Kafka 功能概览
yueerba126的博客
10-30 680
ZooKeeper 在 Kafka 中扮演了集群协调和配置管理的角色。但随着 Kafka 的发展，Kafka 社区正逐步减少对 ZooKeeper 的依赖，以简化 Kafka 的部署和维护。尽管 Kafka 和 RabbitMQ 都是消息系统，但它们的设计目标和最佳使用场景不同。选择哪一个取决于您的特定需求：如果您需要高吞吐量的数据流处理和日志聚合，Kafka 可能更合适；而对于复杂的消息路由和任务队列，RabbitMQ 可能更为合适。
Kafka概览
zhangyuanshuai的博客
01-25 166
Kafka Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由 LinkedIn 公司开发，使用Scala 语言编写，目前是 Apache 的开源项目。 Kafka 中的概念及其含义： broker： Kafka 服务器，负责消息存储和转发 topic：消息类别， Kafka 按照 topic 来分类消息 partition： topic 的分区，一个 topic 可以包含多个 partition， topic 消息保存在各个partition 上 offset：消息在日志中的位置，可以
java消费kafka数据 sasl_ssl
weixin_31230841的博客
07-26 75
Java消费Kafka数据使用SASL_SSL认证 作为一名经验丰富的开发者，我很高兴能帮助刚入行的小白理解如何在Java中使用SASL_SSL认证来消费Kafka数据。以下是实现这一功能的步骤和代码示例。 步骤概览 以下是实现Java消费Kafka数据使用SASL_SSL认证的步骤概览： 步骤 描述 1 添...
Kafka Streams 架构概览
奔跑的蜗牛的博客
07-03 1521
在上篇文章中我介绍了关于流式处理设计模式相关的总结以及案例说明，为了更好地理解Streams的工作原理，需要深入了解并理解API背后的一些设计原则，本文将从架构设计层面对这些原则进行说明总结。
kafka_day03
qq_33190134的博客
09-21 265
1. kafka内核原理 1.1 ISR机制 光是依靠多副本机制能保证Kafka的高可用性，但是能保证数据不丢失吗？ 不行，因为如果leader宕机，但是leader的数据还没同步到follower上去，此时即使选举了follower作为新的leader，当时刚才的数据已经丢失了。 ISR是：in-sync replica，就是跟leader partition保持同步的follower partition的数量，只有处于ISR列表中的follower才可以在leader宕机之后被选举为新的lea
Kafka版本概览
kafka_zsxq的博客
12-03 4825
Apache自从接受LinkedIn捐赠Kafka之后，于2012年1月4日对外正式发布0.7这个版本，10年后的今天，Kafka已经陆续发布了46个版本 仔细研究发现Kafka目前总共演进了7个大版本，分别是0.7、0.8、0.9、0.10、0.11、1.0和2.0，比如2.0大版本中，期间历经了19个小版本，目前2.8.0去除对ZooKeeper的依赖算是一个大的更新 我们整理了一张图，用来阐述Kafka更新中有几个里程碑的一些特性，希望可以帮助大家更好的选择Kafka版本 ...
Kafka 监控
通往神秘的道路的专栏
01-31 1249
任何应用功能再强大、性能再优越，如果没有与之匹配的监控，那么一切都是虚无缥缈的。监控不仅可以为应用提供运行时的数据作为依据参考，还可以迅速定位问题，提供预防及告警等功能， 很大程度上增强了整体服务的鲁棒性。目前的Kafka监控产品有很多， 比如Kafka Manager、Kafka Eagle、Kafka Monitor、Kafka Offset Monitor、Kafka Web Console、Burrow等，它们都有各自的优缺点。以Kafka Manager为例， 它提供的监控功能也是相对比较完善的，
Apache Kafka 概览
Vioao's Blog
12-18 720
简介 Apache Kakfa 是一个分布式流处理平台，既可以当做普通的消息中间件用于消息发布订阅，也可以存储并处理流式数据，其分布式设计使得其有较好的容错性，水平拓展性等。 通常可以用于当做消息订阅发布用于业务系统中，或者用于大数据方向，接受存储大量的流式数据并和对应的大数据处理框架结合使用，eg. Kafka + Samza 从物理部署层面来讲，其主要有如下几个模块： ZooKeeper 充...
kafka概览
YongYu_IT的专栏
08-07 466
本文参考《kafka权威指南》（薛 译），《kafka入门与实践》（牟 著） 1、kafka是什么？ 通俗说法：高吞吐量、分布式的消息发布订阅系统 官方说法：分布式流式处理平台 2、kafka可以拿来做什么？ 2.1 消息系统（消息队列） 消息系统主要是解决 应用解耦、异步通信、流量控制等问题。 拿我们最常见的移动端后台开发来说。我们移动端后台开发最常见交互方式是基于无状态的HTTP...
高清彩版 Kafka_The Definitive Guide_Real-Time Data and Stream Processing at Scale
10-31
#### 三、主要内容概览 1. **了解发布订阅模式消息传递及其在大数据生态中的作用** - 发布订阅模式是Kafka的核心功能之一，它允许数据生产者（发布者）将数据发送到一个主题，而消费者则订阅这些主题来接收数据。 ...
消息中间件---初识（Kafka、RocketMQ、RabbitMQ、ActiveMQ、Redis）
weixin_44929475的博客
10-02 1540
消息中间件是一种支撑性软件系统，它在网络环境中为应用系统提供同步或异步、可靠的消息传输。消息中间件利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。它支持多种通信协议和数据格式，可以在不同的应用系统之间进行透明的消息传递。消息中间件的主要特点包括异步通信、持久化、削峰填谷、系统解耦、集群扩展、负载均衡等。
消息队列（如RabbitMQ、Kafka）的使用与原理。缓存系统（如Redis、Memcached）的使用与优化。
最新发布
weixin_53180424的博客
10-05 564
消息队列（如RabbitMQ、Kafka）的使用与原理。消息队列是一种分布式系统中的设计模式，它允许系统中的不同组件通过异步的方式交换信息。
kafka 换盘重平衡副本 操作流程
baidu_27503999的博客
09-30 480
kafka 换盘、重平衡副本
Kafka介绍
qq_41081716的博客
09-30 981
Apache Kafka 是大数据生态系统中的一个重要组成部分，它不仅作为一个高效的消息传递系统，还作为数据管道和事件驱动架构的核心组件，为实时数据处理和分析提供了强大的支持。通过其高吞吐量、低延迟、可扩展性和容错性，Kafka 成为了现代数据架构中的首选技术之一。
kafka-windows集群部署
weixin_42924400的博客
10-05 204
部署本文步骤可以先阅读这一篇博客，这篇是关于单机kafka部署测试的。本文用到的文件均是这一篇博客中的文件修改配置部署的。kafka基本概念以及用法。
kafka
qq_41893505的博客
10-04 834
Kafka 通过 ACK 机制、ISR 副本同步、持久化存储、Leader 选举、幂等性、事务性支持以及消费者的 offset 管理等多个机制共同确保了消息在生产、传输、存储和消费各个环节的可靠性。这些设计让 Kafka 能够在分布式环境中提供高可用、高可靠的消息传输服务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值