消息队列
wang_nian
不以物喜 不以己悲 生于忧患 死于安乐
展开
-
Kafka如何实现每秒上百万的高并发写入?
Kafka是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来一点一点说一下。一、页缓存技术 + 磁盘顺序写首先Kafka每次接收到数据都会往磁盘上去写,如下图所示:那么在这里我们不禁有一个疑问了,如果把数据基于磁盘来存储,频繁的往磁盘文件里写数据,这个性能会不会很差?大家肯定都觉得磁盘写性能是极差的。没错,...转载 2020-10-10 20:00:43 · 459 阅读 · 0 评论 -
消息队列MQ详解(kafka)
解决的问题:解耦 异步 削峰不用 MQ 系统耦合场景A 系统产生了一个比较关键的数据,很多系统需要 A 系统将数据发过来,强耦合(B,C,D,E 系统可能参数不一样、一会需要一会不需要数据,A 系统要不断修改代码维护)A 系统还要考虑 B、C、D、E 系统是否挂了,是否访问超时?是否重试?使用 MQ 系统解耦场景维护这个代码,不需要考虑人家是否调用成功,失败超时 如果新系统需要数据,直接从 MQ 里消费即可,如果某个系统不需要这条数据就取消对 MQ 消息的消费即可。...转载 2020-08-17 15:10:54 · 1638 阅读 · 0 评论