消息中间件
_宇宙浪子_
与其遥望远方,不如说走就走~
展开
-
Kafka史上最详细原理总结
Kafka Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/ngi...转载 2020-06-22 19:18:47 · 535 阅读 · 0 评论 -
kafka生产者Producer参数设置及参数调优建议-商业环境实战系列
转自:https://blog.csdn.net/shenshouniu/article/details/83515413 版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。版权声明:禁止转载,欢迎学习。 kafka商业环境实战系列 作者:秦凯新 地址:于深圳 kafka ...转载 2019-06-01 11:42:58 · 1240 阅读 · 0 评论 -
深入剖析Kafka--Producer篇
转自:https://blog.csdn.net/szwandcj/article/details/76796459 背景 Kafka诞生于Linkedin,以可靠性和巨量吞吐著称,网上清一色将它归为消息队列,用户可以按主题发布及订阅流经Kafka的数据,从这角度看它确实是消息队列,但这仅仅是它的一个方面,在这之上它首先是流式数据传输管道。 管道对实时分析的价值是巨大的,首先它是实时分析系统的天...转载 2019-06-01 11:58:07 · 927 阅读 · 0 评论 -
消息中间件面试题:消息丢失怎么办?
本文原创地址:https://jsbintask.cn/2019/01/28/interview/interview-middleware-reliable 面试题 如何保证消息的可靠性传输?或者说,如何处理消息丢失的问题? 消息中间件各种面试题:消息中间件面试题:消息丢失怎么办?消息中间件面试题:消息队列的优缺点,区别消息中间件面试题:消息中间件的高可用消息中间件面试题:如何保证消息的顺序...转载 2019-06-28 18:35:14 · 602 阅读 · 0 评论 -
消息中间件选型分析
转自: https://blog.csdn.net/zhangweiwei2020/article/details/79932715 消息中间件选型分析 ——从Kafka与RabbitMQ的对比来看全局 有很多网友留言:公司要做消息中间件选型,该如何选?你觉得哪个比较好?消息选型的确是一个大论题,实则说来话长的事情又如何长话短说。对此笔者专门撰稿一篇内...转载 2019-06-28 18:55:53 · 533 阅读 · 0 评论 -
kafka原理系列之(四)ACK机制(数据可靠性和持久性保证)
转自:https://blog.csdn.net/sheep8521/article/details/89511219 1、kafka的ack机制的分类 当producer向leader发送数据时,可以通过request.required.acks参数来设置数据可靠性的级别: 0:这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输效率最高, 但是数...转载 2019-07-16 12:11:03 · 2795 阅读 · 0 评论 -
RocketMQ与Kafka对比(18项差异)
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,Kafka无限消息堆积,高效的持久化速度吸引了我们,但是同时发现这个消息系统主要定位于日志传输,对于使用在淘宝交易、订单...转载 2019-08-17 12:07:44 · 224 阅读 · 0 评论 -
《深入理解RocketMQ》- MQ消息的投递机制
0. 前言 RocketMQ的消息投递分为两种:一种是生产者往MQ Broker中投递;另外一种则是MQ broker 往消费者投递(这种投递的说法是从消息传递的角度阐述的,实际上底层是消费者从MQ broker 中Pull拉取的)。本文将从模型的角度来阐述这两种机制。 1. RocketMQ的消息模型 RocketMQ 的消息模型整体并不复杂,如下图所示: 一个Topi...转载 2019-09-09 15:40:21 · 505 阅读 · 1 评论