Kafka
文章平均质量分 96
Kafka消息中间件的学习和应用
存在morning
乐于了解新技术,善于复盘总结,不是很聪明,但能够持续进步。
展开
-
【Kafka从入门到放弃系列 零】Kafka看这一篇就够了
系统间的耦合高怎么办,我们如何不让一个服务过于庞大,一个好的方式就是依据具体的功能模块拆分服务,降低服务的耦合度,服务间的交互可以通过消息传递数据来实现,除此之外Kafka非常适合在线日志收集等高吞吐场景,kafka有更好的吞吐量,内置分区,副本和故障转移,这有利于处理大规模的消息,所以kafka被各大公司广泛运用于消息队列的构建:消息队列模型-生产者消费者模型Kafka基本概念和架构模型Kafka工作流程和文件存储机制生产者策略:分区策略、数据可靠性保证、故障转移机制消费者策略:消费方式、分区原创 2021-01-13 23:33:18 · 6257 阅读 · 14 评论 -
【Kafka从入门到放弃系列 一】Kafka概述及基本架构
从今天开始更新一些业务常用到的中间件的学习,Redis已经进行了几篇了Kafka也开个头吧,计划总共用五篇博客来学习和了解这个消息框架,当然一开始不会花太多的精力去深入探究,自己整理了一个学习路线大纲,之后依据对业务的了解和公司内部的使用情况需要了再更新和学习:【Kafka从入门到放弃系列 一】概述及基本架构:前置概念理解(消息系统、生产者消费者模式)、消息系统的使用、Kafka的基本架构等...原创 2019-08-29 21:31:19 · 1127 阅读 · 1 评论 -
【Kafka从入门到放弃系列 二】Kafka集群搭建及基本命令
上一篇blog详细了解了kafka的基本概念、生产消费者模型、基本架构,我对kafka有了一个整体的认知,其整体框架其实可以理解为如下架构【一个Partion分区的leader和foller不会存储到一个broker上】:消息生产出来后依据topic发送到Kafka集群中去,由集群来管理消息,消费集群主动拉取到消息后消费【消费者的消费速度可以由自己来决定,可能会存在长连接轮询的浪费问题】,整体的消息和集群管理由Zookeeper来进行。Zookeeper启动Kafka安装...原创 2020-09-02 22:33:23 · 754 阅读 · 0 评论 -
【Kafka从入门到放弃系列 三】Kafka架构深入——工作流程和存储机制
Kafka工作流程Kafka 文件存储机制生产者分区策略数据可靠性保证副本同步策略ISR选举策略ACK确认机制消费者原创 2020-09-06 11:32:17 · 536 阅读 · 0 评论 -
【Kafka从入门到放弃系列 四】Kafka架构深入——生产者策略
分区策略分区的原因分区的原则数据可靠性保证副本同步策略ISR选举策略ACK应答机制HW&LEO故障处理机制Exactly Once语义原创 2020-09-06 17:33:28 · 880 阅读 · 0 评论 -
【Kafka从入门到放弃系列 五】Kafka架构深入——消费者策略
消费方式分区分配策略Range策略【按topic分块分配、面向主题、topic区分但不均衡】和RoudRobin策略【不区分topic轮询、面向组、均衡但是topic会混】当消费者组里的消费者个数的变化【增多或减少】都会触发重新分配Rang策略RoudRobin策略offset的维护同一个组里的,当动态扩展分区分配时新进入的消息接着消费分区消息而不是重新消费offset是按照:goup+topic+partion来划分的,这样保证组内机器有问题时能接着消费消费者组案例...原创 2020-09-06 19:38:33 · 786 阅读 · 0 评论 -
【Kafka从入门到放弃系列 六】Kafka架构深入——高并发读写及Zookeeper管理
Kafka高效读写数据分布式读写顺序写磁盘零拷贝技术Zookeeper管理Kafka事务生产者事务消费者事务原创 2020-09-06 22:12:20 · 487 阅读 · 0 评论 -
【Kafka从入门到放弃系列 七】Kafka可视化监控
上篇blog分析了Kafka常用的一些API,本篇可以当作基础入门的终章:安装一款监控工具来监控Kafka的动态原创 2020-09-13 11:51:08 · 636 阅读 · 0 评论 -
【Kafka从入门到放弃系列 八】Kafka的API调用
在了解了Kafka的基本概念、搭建了Kafka集群以及使用基本命令、**深入了解Kafka架构【工作流程和存储机制、生产者策略、消费者策略、Zookeeper的管理】**之后,就到了我们最常用的环节,也就是通过代码来控制Kafka,使用API来调用。Kafka文档地址为Kafka官方文档,接下来我们会充分使用到官方文档中的示例环境准备生产者API在官方文档中,我们可以看到Kafka的消费者API列表生产者API,这些都是当前Kafka支持的生产者相关的API,有如下四种构造方法:也有如下13种方法原创 2020-09-13 15:48:45 · 1060 阅读 · 0 评论 -
【Kafka从入门到放弃系列 九】Kafka生产者消费者系统实践
在项目实战中就会发现,其实不管是微服务也好,DDD也好,都是为了履行设计原则里的低耦合、高内聚而无论是RabbitMQ还是Kafka,都是通过消息队列的方式对系统进行解耦,在从入门到放弃系列里我详细介绍过其使用背景以及模型等,由于最近的项目用到了RabbitMQ和Kafka,所以索性搭建一个简单的生产者消费者模型。生产者端我们发送Kafka消息的时候,外层的封装方法如下,需要传递一个Kafka...原创 2019-11-19 09:40:02 · 491 阅读 · 0 评论