李志涛的专栏

自由,悠闲,交流 QQ:309921583

Kafka Consumer机制优化-保证每条消息至少消费一次

背景Kafka中由Consumer维护消费状态,当Consumer消费消息时,支持2种模式commit消费状态,分别为立即commit和周期commit。前者会导致性能低下,做到消息投递恰好一次,但很少使用,后者性能高,通常用于实际应用,但极端条件下无法保证消息不丢失。目标在有效期内,保证每条消息...

2016-06-21 17:27:00

阅读数 17108

评论数 2

Kafka副本同步机制理解

构建操作简单的分布式系统,尤其是对微妙的行为,最好的一门艺术是经常收集生产环境经验。Apache Kafka的普及在很大程度上归功于它的设计和操作简单。Apache Kafka更微妙的特性之一是它的复制协议。对于单个集群不同大小工作负载情况下如何自动调优Kafka副本的工作比较棘手。这个特别困难的...

2016-06-20 01:50:59

阅读数 26515

评论数 8

腾讯 VS 阿里 VS 携程消息中间件设计方案及思路

背景目前我们美团正在设计和不断迭代、升级消息中间件方案,为了避免走弯路,希望站在巨头肩膀上,学习经验、吸取精华,推动美团MQ快速演进,为美团业务高速扩张提供支撑目标:可靠性(保证消息不丢失)、异步、解耦(无需同时在线、不需要知道对方是谁)。 数据的存储级别:内存中的数据(断电丢数据)===》持久...

2016-06-20 01:28:45

阅读数 10309

评论数 1

线上Mafka集群网卡打爆原因分析及解决方案

1.现象Mafka线上为某个业务搭建的集群,隔几天就会偶尔出现如下报警: 每次报警均是一个网卡出流量高,一个网卡入流量高(目前设置的阈值是700Mb),而且一般在5分钟左右的时间内故障就会自动恢复: 2.原因分析简单描述:kafka 0.8 的读写锁bug,写的地方加锁了,读的地方未加锁。...

2016-06-20 00:33:19

阅读数 2780

评论数 0

Mafka消息中间件系统SLA

1.背景2.目标从系统角度查看整体系统的可用性,包括但不局限于各种异常处理,是否做到很好的容错。主要输出包括:1.主题SLA2.消费组SLA3.集群SLA4.MQ 整体SLA3. 系统SLA3.1可用性3.1.1主题SLA承诺 副本配置://TODO,需要进一步梳理,申请主题的时候,如果选择的数据...

2016-06-19 23:52:32

阅读数 4331

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭