消息队列kafka
文章平均质量分 75
分享和记录消息队列相关的知识
wh柒八九
一枚热爱编程的程序员
展开
-
RabbitMQ 和 Kafka 对比
开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个?原创 2023-12-27 14:47:57 · 1235 阅读 · 0 评论 -
@KafkaListener注解使用详解
本文来说下@KafkaListener注解详细的使用方式文章目录概述概述原创 2022-01-19 13:25:49 · 2075 阅读 · 0 评论 -
kafka自定义分区实战
本文来说下kafka自定义分区相关的知识与内容,说下springboot整合kafka如何来实现自定义分区文章目录概述概述原创 2022-01-18 14:17:12 · 2266 阅读 · 0 评论 -
SpringBoot整合kafka之kafka分区实战
本文来说下SpringBoot整合kafka之kafka分区实战文章目录概述概述原创 2022-01-14 09:31:56 · 3679 阅读 · 1 评论 -
kafka图形化管理工具kafka-manager
本文来说下kafka图形化管理工具kafka-manager文章目录概述概述原创 2022-01-13 11:05:14 · 885 阅读 · 0 评论 -
kafka分区机制详解
本文来说下SpringBoot整合kafka之kafka分区实战文章目录概述概述原创 2022-01-10 16:51:07 · 1810 阅读 · 2 评论 -
SpringBoot整合kafka实战之带回调的生产者
本文来说下SpringBoot整合kafka部分知识内容文章目录概述概述原创 2022-01-07 13:25:54 · 2486 阅读 · 0 评论 -
如何关闭kafka的控制台日志
本文来说下如何关闭kafka的控制台日志文章目录概述概述原创 2022-01-06 13:41:06 · 6776 阅读 · 0 评论 -
在Windows安装运行Kafka
本文来说下如何在Windows安装运行Kafka文章目录概述概述原创 2022-01-05 09:43:36 · 1479 阅读 · 0 评论 -
Kafka与RocketMQ的对比分析
本文来说下Kafka与RocketMQ的对比分析文章目录概述概述原创 2021-12-31 16:34:04 · 627 阅读 · 0 评论 -
kafka是如何解决粘包拆包的
本文来说下kafka是如何解决粘包拆包的文章目录概述概述前面笔者写了一篇文章一文讲清粘包拆包 全面的讲解了TCP粘包拆包相关的问题。下面进行一个简单的总结:TCP粘包拆包产生的原因是,应用层有意义的数据包,传输层的协议并不了解其含义,不会去根据你的业务内容去分包和发送,只会按照自己的协议格式传送数据。知道问题的本质后,解决问题就简单了。就需要在应用层收到数据后根据标识判断一下,数据是否完整,如果完整了我们再进行数据包解析,最后交给业务代码处理。解决粘包拆包问题的方法:(1)消息定长;.原创 2021-11-01 13:29:13 · 1083 阅读 · 0 评论 -
Kafka的高性能原理
本文来说下Kafka的高性能设计文章目录概述概述原创 2021-10-28 13:35:51 · 1649 阅读 · 0 评论 -
Kafka的存储设计
本文来说下 Kafka的存储选型文章目录概述概述原创 2021-10-28 09:24:06 · 663 阅读 · 0 评论 -
MQ的连接是否是线程安全的
本文来说下MQ的连接是否是线程安全的文章目录概述概述原创 2021-09-02 20:51:54 · 624 阅读 · 0 评论 -
如何为Kafka挑选合适的分区数
本文来说下如何为Kafka挑选合适的分区数文章目录概述概述如何为Kafka挑选合适的分区数?很多人都为这个问题伤过脑筋。原创 2021-09-02 13:38:39 · 864 阅读 · 0 评论 -
kafka中生产者和消费者的分区问题
本文来书说下kafka中生产者和消费者的分区问题文章目录概述概述我们知道,生产者发送消息到主题,消费者订阅主题(以消费者组的名义订阅),而主题下是分区,消息是存储在分区中的,所以事实上生产者发送消息到分区,消费者则从分区读取消息,那么,这里问题来了,生产者将消息投递到哪个分区?消费者组中的消费者实例之间是怎么分配分区的呢?接下来,就围绕着这两个问题一探究竟。...原创 2021-09-01 16:50:57 · 613 阅读 · 0 评论 -
Kafka 2.8与ZooKeeper正式分手
本文来说下Kafka 2.8与ZooKeeper正式分手文章目录概述概述原创 2021-09-01 11:17:25 · 425 阅读 · 0 评论 -
消息的按序处理
本文来说下消息的按序处理文章目录概述概述原创 2021-08-26 11:43:44 · 293 阅读 · 0 评论 -
MQ如何防止消息丢失
本文来说下MQ如何防止消息丢失文章目录概述概述原创 2021-08-26 11:16:44 · 1290 阅读 · 0 评论 -
关于Kafka中的再均衡
本文来说下Kafka 中的再均衡文章目录概述概述在Kafka 消费者的使用和原理中已经提到过“再均衡”的概念,我们先回顾下,一个主题可以有多个分区,而订阅该主题的消费组中可以有多个消费者。每一个分区只能被消费组中的一个消费者消费,可认为每个分区的消费权只属于消费组中的一个消费者。但是世界是变化的,例如消费者会宕机,还有新的消费者会加入,而为了应对这些变化,让分区所属权的分配合理,这都需要对分区所属权进行调整,也就是所谓的“再均衡”。本文将对再均衡的相关知识进行详细叙述。...原创 2021-08-19 16:47:20 · 514 阅读 · 0 评论 -
关于Kafka高性能的几个问题
本文来说下Kafka为什么吞吐量大、速度快?文章目录概述概述Kafka是大数据领域无处不在的消息中间件,目前广泛使用在企业内部的实时数据管道,并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储,但却具有高性能、高吞吐、低延时的特点,其吞吐量动辄几万、几十上百万。但是很多使用过Kafka的人,经常会被问到这样一个问题,Kafka为什么速度快,吞吐量大;大部分被问的人都是一下子就懵了,或者是只知道一些简单的点,本文就简单的介绍一下Kafka为什么吞吐量大,速度快。...原创 2021-08-15 19:37:27 · 432 阅读 · 0 评论 -
事务消息和普通消息的区别
本文来说下事务消息和普通消息的区别文章目录概述概述原创 2021-08-08 17:00:18 · 4805 阅读 · 6 评论 -
Kafka基本概念与术语
本文来说下kafka的基本概念与术语文章目录概述概述原创 2021-08-07 22:18:16 · 373 阅读 · 0 评论 -
关于Kafka分区与分段的几个问题
本文来说下Kafka分区(Partition)与分段(Segment)相关的几个问题文章目录概述概述原创 2021-08-01 17:50:48 · 726 阅读 · 0 评论 -
从面试角度一文学完 Kafka
本文来说下有关kafka重要的知识与内容文章目录概述概述原创 2021-07-29 21:17:07 · 643 阅读 · 0 评论 -
Springboot整合kafka
本文来说下Springboot整合kafka的实战部分文章目录概述概述原创 2021-07-25 13:45:50 · 202 阅读 · 0 评论 -
Kafka会不会重复消费
本文来说下kafka会不会重复消费的问题文章目录概述概述原创 2021-07-17 13:06:06 · 1350 阅读 · 1 评论 -
Kafka会不会丢消息
本文来说下Kafka是否会丢消息的问题文章目录概述概述大型互联网公司一般都会要求消息传递最大限度的不丢失,比如用户服务给代金券服务发送一个消息,如果消息丢失会造成用户未收到应得的代金券,最终用户会投诉。为避免上面类似情况的发生,除了做好补偿措施,更应该在系设计的时候充分考虑各种异常,设计一个稳定、高可用的消息系统。...原创 2021-07-16 14:00:36 · 324 阅读 · 2 评论 -
关于kafka的几个问题
本文来说下关于kafka有关的几个问题文章目录概述概述原创 2021-07-09 13:28:42 · 678 阅读 · 3 评论 -
MQ遇到的问题
前面介绍了mq和kafka,本文说下mq在使用的过程中会遇到哪些问题。文章目录前言前言最近mq越来越火,很多公司在用,很多人在用,其重要性不言而喻。但是如果我让你回答下面的这些问题:我们为什么要用mq?引入mq会多哪些问题?如何解决这些问题?你心中是否有答案了呢?本文将会一一为你解答,这些看似平常却很有意义的问题。...原创 2021-05-09 20:02:08 · 800 阅读 · 0 评论 -
Kafka的架构设计
本文来说下有关Kafka的架构设计。把握住了这个关键点,我相信你将能更好地理解 Kafka 的架构设计,进而顺藤摸瓜地掌握 Kafka 的核心技术方案。文章目录Kafka的技术难点究竟在哪Kafka的架构设计Kafka的技术难点究竟在哪前面交代了两个关键信息:1、Kafka 为实时日志流而生,要处理的并发和数据量非常大。可见,Kafka 本身就是一个高并发系统,它必然会遇到高并发场景下典型的三高挑战:高性能、高可用和高扩展。2、为了简化实现的复杂度,Kafka 最终采用了很巧妙的消息模型:它.原创 2021-05-09 19:52:00 · 729 阅读 · 3 评论 -
初识Kafka
本文来详细介绍下Kafka,扒开Kafka的神秘面纱。文章目录为什么从Kafka开始扒开 Kafka 的面纱为什么从Kafka开始围绕 MQ 「一发一存一消费」的本质展开,讲解了 MQ 的通用知识,同时系统性地回答了:如何着手设计一个 MQ?从这篇文章开始,我会讲解具体的消息中间件,之所以选择从 Kafka 开始,有 3 点考虑:第一,RocketMQ 和 Kafka 是目前最热门的两种消息中间件,互联网公司应用最为广泛,将作为本系列的重点。第二,从 MQ 的发展历程来看,Kafka 先于 .原创 2021-05-09 19:29:53 · 279 阅读 · 2 评论 -
kafka经典面试题
Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。文章目录Kafka思维导图kafka经典面试题.原创 2021-05-04 21:26:04 · 217 阅读 · 0 评论 -
MQ设计思想分析
本文主要讲解 MQ 的通用知识,让大家先弄明白:如果让你来设计一个 MQ,该如何下手?需要考虑哪些问题?又有哪些技术挑战?有了这个基础后,我相信后面几篇文章再讲 Kafka 和 RocketMQ 这两种具体的消息中间件时,大家能很快地抓住主脉络,同时分辨出它们各自的特点。对于 MQ 来说,不管是 RocketMQ、Kafka 还是其他消息队列,它们的本质都是:一发一存一消费。下面我们以这个本质作为根,一起由浅入深地聊聊 MQ。...原创 2021-03-12 09:39:23 · 1122 阅读 · 4 评论