![](https://img-blog.csdnimg.cn/c0411869f56c4fb1a4011b864593de52.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
文章平均质量分 67
Kafka
坚持每天学习一点
找一个程序员学习搭子 杭州有没有帮我内推的大佬?
展开
-
一、Kafka概述 ------------------ 尚硅谷kafka教程
目录1.3 Kafka的基础架构1.3 Kafka的基础架构Producer:消息生产者,就是向 Kafka broker 发消息的客户端Consumer:消息消费者,向 Kafka broker 取消息的客户端。Consumer Group(CG):消费者组,由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。Broker:一台 Kafka 服务器就原创 2023-08-20 16:07:07 · 923 阅读 · 3 评论 -
二、Kafka快速入门
1)在/etc/profile.d/my_env.sh 文件中增加 kafka 环境变量配置。4、进入到/mysoft/kafka/config 目录,修改配置文件。把主题中所有的数据都读取出来(包括历史数据)。6、查看kafka有没有正常启动: jps。1、下载并上传到nginx服务器。先启动zookeeper 节点。消费 first 主题中的数据。7、配置kafka的环境变量。3、修改解压后的文件名称。2)刷新一下环境变量。原创 2023-08-20 16:54:41 · 1507 阅读 · 0 评论 -
三、Kafka生产者
1)需求:例如我们实现一个分区器实现,发送过来的数据中如果包含 atguigu,就发往 0 号分区,不包含 atguigu,就发往 1 号分区2)定义类实现 Partitioner 接口,重写 partition()方法。@Override// 获取数据 atguigu hello}else {@Override@Override3)使用分区器的方法,在生产者的配置中添加分区器参数// 0 配置// 连接集群 bootstrap.servers。原创 2023-08-20 20:48:38 · 937 阅读 · 0 评论 -
四、Kafka Broker
4.1.1 Zookeeper 存储的 Kafka 信息。原创 2023-08-24 00:17:10 · 941 阅读 · 0 评论 -
五、Kafka消费者
缺点: pull模式不足之处是,如 果Kafka没有数据,消费者可能会陷入循环中,一直返回空数据。,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。原创 2023-08-26 21:41:43 · 980 阅读 · 0 评论 -
六、Kafka-Eagle监控
修改/opt/module/kafka/bin/kafka-server-start.sh 命令。Kafka-Eagle 的安装依赖于 MySQL,MySQL 主要用来存储可视化展示的数据。【不重要】 需要的时候再去复习。原创 2023-08-29 22:55:42 · 975 阅读 · 0 评论 -
七、Kafka-Kraft 模式
右图为 kraft 模式架构(实验性),不再依赖 zookeeper 集群,而是用三台 controller 节点代替 zookeeper,元数据保存在 controller 中,由 controller 直接进行 Kafka 集群管理。左图为 Kafka 现有架构,元数据在 zookeeper 中,运行时动态选举 controller,由controller 进行 Kafka 集群管理。原创 2023-08-29 23:57:50 · 2158 阅读 · 0 评论 -
八、SpringBoot集成Kafka
1、修改 SpringBoot 核心配置文件 application.propeties, 添加生产者相关信息。1、修改 SpringBoot 核心配置文件 application.propeti。2、创建 controller 从浏览器接收数据, 并写入指定的 topic。2、创建类消费 Kafka 中指定 topic 的数据。原创 2023-08-31 21:32:53 · 774 阅读 · 1 评论 -
九、Kafka调优
之后补充。原创 2023-10-18 07:38:49 · 55 阅读 · 0 评论