![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
吃胖点儿
“学会求知,学会做事,学会共处,学会做人。”致自己共勉 。技术探讨可以加281954986
展开
-
Kafka之利用内存缓冲池设计来优化JVM GC问题解析
大家都知道Kafka是一个高吞吐的消息队列,是大数据场景首选的消息队列,这种场景就意味着发送单位时间消息的量会特别的大,那么Kafka如何做到能支持能同时发送大量消息的呢?答案是Kafka通过批量压缩和发送做到的。我们知道消息肯定是放在内存中的,大数据场景消息的不断发送,内存中不断存在大量的消息,很容易引起GC频繁的GC特别是full gc是会造成“stop the world”,也就...原创 2020-04-23 11:15:26 · 349 阅读 · 0 评论 -
Kafka的基础索引
我们在《360度测试:KAFKA会丢数据么?其高可用是否满足需求?》这篇文章中,详细说明了KAFKA是否适合用在业务系统中。但有些朋友,还不知道KAFKA为何物,以及它为何存在。这在工作和面试中是比较吃亏的,因为不知道什么时候起,KAFKA似乎成了一种工程师的必备技能。一些观念的修正从 0.9 版本开始,Kafka 的标语已经从“一个高吞吐量,分布式的消息系统”改为”一个分布式流平台“。...原创 2020-03-27 18:24:34 · 231 阅读 · 0 评论 -
Netty、Kafka中的零拷贝技术到底有多牛?
零拷贝,从字面意思理解就是数据不需要来回的拷贝,大大提升了系统的性能。我们也经常在 Java NIO,Netty,Kafka,RocketMQ 等框架中听到零拷贝,它经常作为其提升性能的一大亮点;下面从 I/O 的几个概念开始,进而再分析零拷贝。I/O 概念缓冲区缓冲区是所有 I/O 的基础,I/O 讲的无非就是把数据移进或移出缓冲区;进程执行 I/O 操作,就是向操...原创 2020-03-24 22:10:39 · 105 阅读 · 0 评论 -
Kafka精讲
1. Kafka 概述1.1定义Kakfa 是一个分布式的基于发布/订阅模式的消息队列(message queue),主要应用于大数据的实时处理领域。1.2消息队列1.2.1 传统消息队列与新式消息队列模式上面是传统的消息队列,比如一个用户要注册信息,当用户信息写入数据库后,后面还有一些其他流程,比如发送短信,则需要等这些流程处理完成...原创 2020-02-18 10:47:25 · 312 阅读 · 0 评论 -
震惊了!原来这才是kafka!
简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念,生产者往topic里写消息,消费者从读消息。为了做到水平扩展,一个topic实际是由多个partition组成的,遇到瓶颈时,可以通过增加partition的数量来...转载 2019-02-22 11:28:49 · 167 阅读 · 0 评论 -
Kafka架构和原理深度剖析
背景介绍Kafka简介Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,并保证即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 支持Kafka Server间的消息分区,及分布式消息消费,同时保证每个partition内的消息顺序传...原创 2019-02-22 13:56:20 · 226 阅读 · 0 评论