李志涛的专栏

自由,悠闲,交流 QQ:309921583

apache kafka技术分享系列(目录索引)

apache Kafka中国社区中国社区QQ群1:162272557 未满  收费5¥,保证QQ运营,腾讯QQ VIP收年费,2000人群非常活跃,质量很高中国社区QQ群2:414762562 未满  1000人群中国社区QQ群3:191278841未满    1000人群中国社区QQ群4:415...

2018-02-08 11:30:11

阅读数 80931

评论数 35

基于Kafka时间粒度消息回溯设计方案

1.背景当业务消费消息时,有时因为某些原因(bug、异常、依赖服务故障等)导致消费全部无效,需要回溯消息进行消费,比如消费者2个小时内的处理逻辑可能出现了问题,业务发现后,想回溯到2小时前offset位置重新消费补回相关消息。 ![这里写图片描述](http://img.blog.csdn.ne...

2016-09-03 23:51:07

阅读数 6887

评论数 3

apache Kafka Replication设计分析

1.设计目标提供可配置,需要保障强可用性可以enable这个功能,如果想要更高的效率而不太在乎数据丢失的话,可以disable这个功能 自动replica管理,当cluster发生变化时,即broker server增加或减少时,可以自动的管理和调整replicas2.问题 如何将partit...

2016-09-03 23:18:44

阅读数 3120

评论数 0

Apache Kafka-0.9 feature

一、安全特性在0.9之前,Kafka安全方面的考虑几乎为0,在进行外网传输时,只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点,让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面,主要有以下方面设计: 客户端连接borker使用SSL或SASL进行验证 bo...

2016-08-27 06:03:23

阅读数 1300

评论数 2

Kafka Producer机制优化-提高发送消息可靠性

名称解释:Broker:负责消息的存储和转发,也可以叫消息中介节点 Topic:每种消息的分类叫做主题(Topic)。 Partition:每一个Topic被切分为多个Partitions。背景Producer构造Message对象时,传入key参数,当Producer发送Message,会根...

2016-08-27 00:45:20

阅读数 7575

评论数 0

Kafka内部网络框架模型分析

Kafka基于高吞吐率和效率考虑,并没有使用第三方网络框架,而且自己基于java nio封装的,总体网络模型如下: Broker的内部处理流水线化,分为多个阶段来进行(SEDA),以提高吞吐量和性能,尽量避免Thead盲等待,以下为过程说明。 * Accept Thread负责与客户端建立...

2016-08-27 00:15:26

阅读数 4734

评论数 1

Kafka Broker HA机制

从图中我们可以看出HA的缓存分为生产缓存事件池和拉取缓存事件池两块结构相同的缓存区,分别缓存生产和拉取请求 2个缓存事件池的作用: 生产缓存事件池:当生产者设置了等待从partition的同步选项(requiredAcks为-1)时才会启动生产缓存。因为每一批生产的消息,需要等待所有的处于同步状...

2016-08-25 07:03:50

阅读数 5468

评论数 1

Kafka数据可靠性与一致性解析

在看本篇博客前,请先看下“ Kafka文件存储机制那些事”:http://tech.meituan.com/kafka-fs-design-theory.html 便于理解如下内容:1.Partition Recovery机制每个Partition会在磁盘记录一个RecoveryPoint, ...

2016-08-24 01:21:27

阅读数 12815

评论数 0

Mafka RoadMap和实现

Mafka SLA:Mafka消息中间件系统SLA

2016-08-05 01:28:31

阅读数 1673

评论数 0

Kafka Consumer机制优化-保证每条消息至少消费一次

背景Kafka中由Consumer维护消费状态,当Consumer消费消息时,支持2种模式commit消费状态,分别为立即commit和周期commit。前者会导致性能低下,做到消息投递恰好一次,但很少使用,后者性能高,通常用于实际应用,但极端条件下无法保证消息不丢失。目标在有效期内,保证每条消息...

2016-06-21 17:27:00

阅读数 17077

评论数 2

Kafka副本同步机制理解

构建操作简单的分布式系统,尤其是对微妙的行为,最好的一门艺术是经常收集生产环境经验。Apache Kafka的普及在很大程度上归功于它的设计和操作简单。Apache Kafka更微妙的特性之一是它的复制协议。对于单个集群不同大小工作负载情况下如何自动调优Kafka副本的工作比较棘手。这个特别困难的...

2016-06-20 01:50:59

阅读数 26460

评论数 8

腾讯 VS 阿里 VS 携程消息中间件设计方案及思路

背景目前我们美团正在设计和不断迭代、升级消息中间件方案,为了避免走弯路,希望站在巨头肩膀上,学习经验、吸取精华,推动美团MQ快速演进,为美团业务高速扩张提供支撑目标:可靠性(保证消息不丢失)、异步、解耦(无需同时在线、不需要知道对方是谁)。 数据的存储级别:内存中的数据(断电丢数据)===》持久...

2016-06-20 01:28:45

阅读数 10306

评论数 1

线上Mafka集群网卡打爆原因分析及解决方案

1.现象Mafka线上为某个业务搭建的集群,隔几天就会偶尔出现如下报警: 每次报警均是一个网卡出流量高,一个网卡入流量高(目前设置的阈值是700Mb),而且一般在5分钟左右的时间内故障就会自动恢复: 2.原因分析简单描述:kafka 0.8 的读写锁bug,写的地方加锁了,读的地方未加锁。...

2016-06-20 00:33:19

阅读数 2777

评论数 0

Mafka消息中间件系统SLA

1.背景2.目标从系统角度查看整体系统的可用性,包括但不局限于各种异常处理,是否做到很好的容错。主要输出包括:1.主题SLA2.消费组SLA3.集群SLA4.MQ 整体SLA3. 系统SLA3.1可用性3.1.1主题SLA承诺 副本配置://TODO,需要进一步梳理,申请主题的时候,如果选择的数据...

2016-06-19 23:52:32

阅读数 4321

评论数 1

基于Kafka如何部署一个稳定可靠的zookeeper集群服务

背景一个月左右zk挂了2次,在此期间 Mafka和其他服务不可用,因为业务(使用不当)原因导致zk挂掉,间接影响其他服务(包括mafka)可用性,目前线上多个业务和多种服务共同一套mobile-zk集群, 只要一个业务使用不当,对zk造成影响或不可用,就会影响其他业务,所以现阶段拆分zk集群,...

2015-11-03 16:49:24

阅读数 7063

评论数 0

Consumer rebalance失败问题定位和解决思路

背景最近在公司使用Kafka的Consumer高级API出现一些问题,问题描述如下: 大象push推送队列,在(大约每天8点到10点间)发送消息高峰期,消费节点负载处于高位、jvm内存占用大于%80。这时候JVM会频繁持续FullGC而卡住异步线程(stop the world),心跳等异步线...

2015-11-02 17:47:04

阅读数 9718

评论数 0

消息队列中点对点与发布订阅区别

背景知识JMS一个在 Java标准化组织(JCP)内开发的标准(代号JSR 914)。2001年6月25日,Java消息服务发布JMS 1.0.2b,2002年3月18日Java消息服务发布 1.1. Java消息服务(Java Message Service,JMS)应用程序接口是一个Jav...

2015-08-17 11:49:47

阅读数 25295

评论数 1

kafka-0.8.2.1-src编译报错解决办法

今天编译kafka-0.8.2.1-src源代码,发现一个问题。编译始终报错,错误如下:lizhitao@users-MacBook-Pro-2:~/mt_wp/open_source/kafka-platform/kafka-0.8.2.1-src$ gradle jar_core_2_10_4...

2015-07-12 00:23:12

阅读数 4564

评论数 0

如何在Kafka上对一个Topic增加partition

操作步骤如下:通过kafka-topics.sh工具的alter命令,将topic_test的partitions从12增加到20; ./bin/kafka-topics.sh –zookeeper 192.168.2.225:2183/config/mobile/mq –alter –par...

2015-05-21 16:59:52

阅读数 17923

评论数 6

如何在Kafka上创建一个Topic

脚本手工创建./bin/kafka-topics.sh –zookeeper 192.168.2.225:2183/config/mobile/mq –create –topic test.example –replication-factor 2 –partitions 24 –topic指定...

2015-05-21 16:56:40

阅读数 30309

评论数 2

提示
确定要删除当前文章?
取消 删除
关闭
关闭