Kafka学习--入门到调优
文章平均质量分 88
学习及使用kafka的记录
向着百万年薪努力的小赵
当注意力专注于一件事上,岁月就会显得十分轻浮,快的有些过于浪荡——远近书疏,莫不手答,笔翰如流,未尝壅滞
展开
-
kafka学习笔记-- 文件清理策略与高效读写数据
本文内容来自尚硅谷B站公开教学视频,仅做个人总结、学习、复习使用,任何对此文章的引用,应当说明源出处为尚硅谷,不得用于商业用途。如有侵权、联系速删。原创 2024-01-15 17:21:38 · 1064 阅读 · 0 评论 -
kafka学习笔记--Topic 数据的存储机制
Topic是逻辑上的概念,而partition是物理上的概念,本来每个partition应对应于一个log文件,该log文件中存储的就是Producer生产的数据。Producer生产的数据会被不断追加到该log文件末端,为防止log文件过大导致数据定位效率低下,Kafka采取了分片和索引机制,将每个partition分为多个segment。每个segment包括:“.index”文件、“.log”文件和.timeindex等文件。原创 2023-12-14 17:52:27 · 1076 阅读 · 0 评论 -
kafka学习笔记--Kafka副本
(1)Kafka 副本作用:提高数据可靠性。(2)Kafka 默认副本 1 个,生产环境一般配置为 2 个,保证数据可靠性;太多副本会增加磁盘存储空间,增加网络上数据传输,降低效率。(3)Kafka 中副本分为:Leader 和 Follower。Kafka 生产者只会把数据发往 Leader,然后 Follower 找 Leader 进行同步数据。(4)Kafka 分区中的所有副本统称为 AR(Assigned Repllicas)。原创 2023-12-14 11:44:36 · 393 阅读 · 0 评论 -
kafka学习笔记--节点的服役与退役
102、103、104三个节点,模拟节点的服役与退役原创 2023-12-12 11:03:11 · 426 阅读 · 0 评论 -
kafka学习笔记--broker工作流程、重要参数
Kafka Broker工作流程原创 2023-12-11 15:19:55 · 201 阅读 · 0 评论 -
kafka学习笔记--如何保证生产者数据可靠、不重复、有序
保证生产者消息数据的可靠性、不重复、有序性原创 2023-12-10 18:51:45 · 321 阅读 · 0 评论 -
kafka学习笔记--分区的好处、策略及自定义分区器
分区的好处:(1)便于合理使用存储资源,每个Partition在一个Broker上存储,可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务,可以实现负载均衡的效果。(2)提高并行度,生产者可以以分区为单位发送数据;消费者可以以分区为单位进行消费数据。原创 2023-12-10 11:47:35 · 849 阅读 · 0 评论 -
kafka学习笔记--生产者消息发送代码示例
所谓的异步发送与同步发送,区别是异步发送的数据只需要到分区器的队列中,不管后续的成功与否,直接就可以进行下一次的消息发送了,同步发送则是要等到全部的流程结束后才能进行下一次的发送原创 2023-12-09 17:30:32 · 116 阅读 · 0 评论 -
kafka学习笔记--生产者消息发送及原理
发送的目的就一个,将消息发到kafka集群里原创 2023-12-09 11:53:08 · 337 阅读 · 0 评论 -
kafka学习笔记--安装部署、简单操作
kafka安装部署与基本命令使用原创 2023-12-08 09:58:53 · 479 阅读 · 0 评论 -
kafka学习笔记--基础知识概述
Kafka是一个分布式的基于发布/订阅模式的消息队列(MessageQueue),主要应用于大数据实时处理领域。Kafka是 一个开源的分布式事件流平台(Event Streaming Platform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。这里我简单理解成消息处理中间平台。原创 2023-12-06 16:15:37 · 413 阅读 · 0 评论