- 博客(5)
- 资源 (34)
- 收藏
- 关注
原创 Kafka Consumer机制优化-保证每条消息至少消费一次
背景Kafka中由Consumer维护消费状态,当Consumer消费消息时,支持2种模式commit消费状态,分别为立即commit和周期commit。前者会导致性能低下,做到消息投递恰好一次,但很少使用,后者性能高,通常用于实际应用,但极端条件下无法保证消息不丢失。目标在有效期内,保证每条消息至少可被消费一次问题分析 请看如上图1,Consumer Thread读取一条消息,更新缓存消费状态,
2016-06-21 17:27:00 22190 3
原创 Kafka副本同步机制理解
构建操作简单的分布式系统,尤其是对微妙的行为,最好的一门艺术是经常收集生产环境经验。Apache Kafka的普及在很大程度上归功于它的设计和操作简单。Apache Kafka更微妙的特性之一是它的复制协议。对于单个集群不同大小工作负载情况下如何自动调优Kafka副本的工作比较棘手。这个特别困难的挑战之一是知道如何避免follower进入和退出同步副本列表(即ISR)。从用户的角度来看,如果生产者发
2016-06-20 01:50:59 50350 13
原创 腾讯 VS 阿里 VS 携程消息中间件设计方案及思路
背景目前我们美团正在设计和不断迭代、升级消息中间件方案,为了避免走弯路,希望站在巨头肩膀上,学习经验、吸取精华,推动美团MQ快速演进,为美团业务高速扩张提供支撑目标:可靠性(保证消息不丢失)、异步、解耦(无需同时在线、不需要知道对方是谁)。 数据的存储级别:内存中的数据(断电丢数据)===》持久化磁盘(磁盘损坏)===》冗余备份(一致性问题)业界MQ设计方案如下:1.阿里Notify架构特点:N
2016-06-20 01:28:45 12397 2
原创 线上Mafka集群网卡打爆原因分析及解决方案
1.现象Mafka线上为某个业务搭建的集群,隔几天就会偶尔出现如下报警: 每次报警均是一个网卡出流量高,一个网卡入流量高(目前设置的阈值是700Mb),而且一般在5分钟左右的时间内故障就会自动恢复: 2.原因分析简单描述:kafka 0.8 的读写锁bug,写的地方加锁了,读的地方未加锁。 具体展现:副本去请求数据的时候,出现请求的offset超出leader partitiond范围,从
2016-06-20 00:33:19 3588
原创 Mafka消息中间件系统SLA
1.背景2.目标从系统角度查看整体系统的可用性,包括但不局限于各种异常处理,是否做到很好的容错。主要输出包括:1.主题SLA2.消费组SLA3.集群SLA4.MQ 整体SLA3. 系统SLA3.1可用性3.1.1主题SLA承诺副本配置://TODO,需要进一步梳理,申请主题的时候,如果选择的数据类型是:支付类型或者订单类型。我们给业务配置是三副本策略,意思:如果发送收到ack(不管是同步发送还是异
2016-06-19 23:52:32 7016 1
PV3D是一个很著名的Flash 3D免费开源引擎
2008-07-06
计算机图形学实验(源程序)
2008-06-09
flex+java文件上传
2008-05-14
CORBA分布式资源池
2007-11-06
在windows中jni(生成dll)Linux中jni(生成so),java调用曾c++
2007-11-02
flex对于java开发包
2007-08-22
kafka & mafka client开发与实践
2014-08-08
kafka-perf_2.x.x-0.8.1.jar
2014-07-15
adobe flex编码指南v1.2
2008-07-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人