mq
love4amanda
这个作者很懒,什么都没留下…
展开
-
kafka记录
ka’fka的reblance如名:再平衡会在topic订阅变化和个数变化消费组内成员(新加或者挂了)个数发生变化.从上面就能发现,一般后者容易出现,前者是我们自己配置的.常用的调整超时时长和心跳时间https://cloud.tencent.com/developer/article/1631633https://zhuanlan.zhihu.com/p/98770059...原创 2022-01-24 20:37:27 · 1672 阅读 · 0 评论 -
延时队列的实现原理
方案:rabbitMq实现延时队列(TTL(Time to live) + DXE(Dead Letter Exchanges))-Redis的ZSet实现Redis 过期回调(Redis的key过期回调事件,也能达到延迟队列的效果,简单来说我们开启监听key是否过期的事件,一旦key过期会触发一个callback事件)定时器轮询遍历数据库记录 JDK的DelayQueue(完全二叉堆 + 根据时间排序,到时间才能取出)JDK ScheduledExecutorService (定时任务)时间原创 2022-01-24 17:25:00 · 2965 阅读 · 0 评论 -
rabbitMQ高可用性
高可用性(分布式集群)1.rabbitMQ由于Erlang语言的特性,利用magiccookie通讯,天然支持分布式.2. 仅采用元数据同步(指其他节点只知道这个queue的metadata信息和一个指向queue的owner node的指针,简单来说只是同步kafka的offset)3.rabbitmqctl查询集群状态4.通过haproxy完成负载均衡(nginx是应用层级)....原创 2020-12-14 17:08:00 · 96 阅读 · 0 评论 -
kafka和RocketMQ核心概念比较
核心概念topic:kafka的topic 同rocketMQ的topicqueue和partion类似持久化kafka 数据会先写入磁盘,rocketMQ可以选择同步或者异步刷盘kafka以性能优化方面比较kafka高性能原理:pageCahezero-copybatch-stream顺序读写磁盘rocketMQ默认异步刷盘,且顺序读写pageCachezero-copy默认的批处理操作是1,可以根据实际情况调整...原创 2020-12-11 19:06:37 · 271 阅读 · 0 评论 -
RocketMQ生产者组topic和消费组的关系
各个之间的关系其实很松散,并不是说不能操作最佳实践订阅关系一致多个 Group ID 订阅了多个 Topic,并且每个 Group ID 里的多个消费者实例的订阅关系保持了一致。消费幂等最终一致性保证数据一致性,如果不幂等,将导致数据错乱topic和tag的关系topic可以是一级过滤关系 tag是二级过滤关系使用:业务消息往往推荐做topic 的 一级区分tag往往用于过滤...原创 2020-02-03 16:58:50 · 14653 阅读 · 1 评论