李志涛的专栏

apache Kafka中国社区中国社区QQ群1：162272557未满 收费5￥，保证QQ运营，腾讯QQ VIP收年费，2000人群非常活跃，质量很高中国社区QQ群2：414762562未满 1000人群中国社区QQ群3：191278841未满 1000人群中国社区QQ群4：415846802 未满 1000人群每当有新blog发布时，会在此处更新，欢迎大家拍砖共同成长目录索引...

Producer Setupbin/kafka-topics.sh --zookeeper esv4-hcl197.grid.linkedin.com:2181 --create --topic test-rep-one --partitions 6 --replication-factor 1bin/kafka-topics.sh --zookeeper esv4-hcl197.grid.lin

Kafka使用Yammer Metrics来

Apache kafka性能优化架构分析，分析了那些因素会影响kafka性能。kafka内部实现做了哪些优化和处理。

在kafka集群中，其中一个broker server作为中央控制器，负责管理分区和副本状态并执行管理着这些分区的重新分配。下面说明如何通过中央控制器操作分区和副本的状态。名词解释：isr：同步副本组OfflinePartitionLeaderSelector:分区下线后新的领导者选举OAR：老的分配副本PartitionStateChange：其有效状态如

1.topic注册信息/brokers/topics/[topic] :Schema:{ "fields" :    [ {"name": "version", "type": "int", "doc": "version id"},      {"name": "partitions",       "type": {"type": "ma

概览:其中一个broker被选举作为整个集群控制器，他将负责几个方面工作：1.管理或领导分区变化.2.create topic,delete topic3.replicas(执行复制计划，复制partition)集群控制器做出决定以后，操作信息或状态将永久注册并存储在zookeeper上，并且也可以通过RPC方式发送新的决定操作broker。控制器发布的决定

背景介绍kafka是最初由Linkedin公司开发，使用Scala语言编写，Kafka是一个分布式、分区的、多副本的、多订阅者的日志系统(分布式MQ系统)，可以用于web/nginx日志，搜索日志，监控日志，访问日志等等。kafka目前支持多种客户端语言：java，python，c++，php等等。

在看本篇博客前，请先看下“ Kafka文件存储机制那些事”：http://tech.meituan.com/kafka-fs-design-theory.html 便于理解如下内容：1.Partition Recovery机制每个Partition会在磁盘记录一个RecoveryPoint, 记录已经flush到磁盘的最大offset。当broker fail 重启时,会进行loadLogs。

1. kafka集群副本分布原理分析下面以一个kafka集群中4个broker举例，1个topic分成4个partition，2 replication；数据producer流动如图所示：每个broker都有均等获得partition的leader机会。上述图broker partition中，箭头指向为副本，以partition-0为例:broker1中parition-

Kafka中partition replication之间具备同步和异步复制功能，从partition的leader复制数据到follower只需要一个线程(ReplicaFetcherThread)，实际上follower主动从leader拉取数据的，一个follower就相当于一个consumer。

Mafka SLA：Mafka消息中间件系统SLA

背景Kafka中由Consumer维护消费状态，当Consumer消费消息时，支持2种模式commit消费状态，分别为立即commit和周期commit。前者会导致性能低下，做到消息投递恰好一次，但很少使用，后者性能高，通常用于实际应用，但极端条件下无法保证消息不丢失。目标在有效期内，保证每条消息至少可被消费一次问题分析 请看如上图1，Consumer Thread读取一条消息，更新缓存消费状态，

背景目前我们美团正在设计和不断迭代、升级消息中间件方案，为了避免走弯路，希望站在巨头肩膀上，学习经验、吸取精华，推动美团MQ快速演进，为美团业务高速扩张提供支撑目标：可靠性（保证消息不丢失）、异步、解耦（无需同时在线、不需要知道对方是谁）。 数据的存储级别：内存中的数据（断电丢数据）===》持久化磁盘（磁盘损坏）===》冗余备份（一致性问题）业界MQ设计方案如下：1.阿里Notify架构特点：N

1.现象Mafka线上为某个业务搭建的集群，隔几天就会偶尔出现如下报警： 每次报警均是一个网卡出流量高，一个网卡入流量高（目前设置的阈值是700Mb），而且一般在5分钟左右的时间内故障就会自动恢复： 2.原因分析简单描述：kafka 0.8 的读写锁bug，写的地方加锁了，读的地方未加锁。 具体展现：副本去请求数据的时候，出现请求的offset超出leader partitiond范围，从

三点多吧

操作背景假如topic test.example中partition 0的replicas为[0,4]，则0为preferred replica，应该成为leader。 这时我们期望4为preferred replica，并变成leader。执行步骤如下：1.查看当前的topic详细信息： lizhitao@users-MacBook-Pro-2:~$ ./bin/kafka-topics.sh

测试方法在其他虚拟机上使用 Kafka 自带 kafka-producer-perf-test.sh 脚本进行测试 Kafka 写入性能尝试使用 kafka-simple-consumer-perf-test.sh 脚本测试 Kafka Consumer 性能，但由于获取到的数据不靠谱，放弃这个测试方法性能数据注：Gzip 和 Snappy 的传输速度 MB/S 是通过压缩前数据计

apache kafka源代码分析工程搭建(IDEA)

1、入口Kafka Server 处理 Client 发送来的请求的入口在文件夹:  core/src/main/scala/kafka/server类：kafka.server.KafkaApis方法: handle处理offset请求的函数: handleOffsetRequest2、处理逻辑处理逻辑主要分为四步获取partition从partition中获

apache kafka中国社区QQ群:1622725571、监控目标    1.当系统可能或处于亚健康状态时及时提醒，预防故障发生    2.报警提示 a.短信方式 b.邮件2、监控内容2.1 机器监控Kafka服务器指标CPU LoadDisk IOMemory磁盘log.dirs目录下数据文件大小,要有定时清除策略2.2 JVM监控主要监控JAVA的 GC time(垃圾回收时间)，JAVA...

最近kafka server消息服务上线了，基于jmx指标参数也写到zabbix中了，但总觉得缺少点什么东西，可视化可操作的界面。zabbix中数据比较分散，不能集中看整个集群情况。或者一个cluster中broker列表，自己写web-console比较耗时耗力，用原型工具画了一些管理界面东西，关键自己也不前端方面技术，这方面比较薄弱。这不开源社区提供了kafka的web管理平台KafkaOffsetMonitor.就迅速拿过来运行。大家不要着急，马上娓娓道来。

背景知识JMS一个在 Java标准化组织（JCP）内开发的标准（代号JSR 914）。2001年6月25日，Java消息服务发布JMS 1.0.2b，2002年3月18日Java消息服务发布 1.1. Java消息服务（Java Message Service，JMS）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信

1.背景2.目标从系统角度查看整体系统的可用性，包括但不局限于各种异常处理，是否做到很好的容错。主要输出包括：1.主题SLA2.消费组SLA3.集群SLA4.MQ 整体SLA3. 系统SLA3.1可用性3.1.1主题SLA承诺副本配置：//TODO，需要进一步梳理，申请主题的时候，如果选择的数据类型是：支付类型或者订单类型。我们给业务配置是三副本策略，意思：如果发送收到ack（不管是同步发送还是异

1.背景当业务消费消息时，有时因为某些原因(bug、异常、依赖服务故障等)导致消费全部无效，需要回溯消息进行消费，比如消费者2个小时内的处理逻辑可能出现了问题，业务发现后，想回溯到2小时前offset位置重新消费补回相关消息。 2.总体设计概述3.详细设计2.1 Kafka

构建操作简单的分布式系统,尤其是对微妙的行为,最好的一门艺术是经常收集生产环境经验。Apache Kafka的普及在很大程度上归功于它的设计和操作简单。Apache Kafka更微妙的特性之一是它的复制协议。对于单个集群不同大小工作负载情况下如何自动调优Kafka副本的工作比较棘手。这个特别困难的挑战之一是知道如何避免follower进入和退出同步副本列表(即ISR)。从用户的角度来看,如果生产者发

一、安全特性在0.9之前，Kafka安全方面的考虑几乎为0，在进行外网传输时，只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点，让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面，主要有以下方面设计： 客户端连接borker使用SSL或SASL进行验证 borker连接ZooKeeper进行权限管理 数据传输进行加密（需要考虑性能方面的影响） 客户端读、写

名称解释：Broker：负责消息的存储和转发，也可以叫消息中介节点 Topic：每种消息的分类叫做主题(Topic)。 Partition：每一个Topic被切分为多个Partitions。背景Producer构造Message对象时，传入key参数，当Producer发送Message，会根据key确定目标Partition，当Kafka集群中某个Partition所有存活的节点都失效或挂掉。

Kafka基于高吞吐率和效率考虑，并没有使用第三方网络框架，而且自己基于java nio封装的，总体网络模型如下： Broker的内部处理流水线化，分为多个阶段来进行(SEDA)，以提高吞吐量和性能，尽量避免Thead盲等待，以下为过程说明。 * Accept Thread负责与客户端建立连接链路，然后把Socket轮转交给Process Thread * Process Thread负责

从图中我们可以看出HA的缓存分为生产缓存事件池和拉取缓存事件池两块结构相同的缓存区，分别缓存生产和拉取请求 2个缓存事件池的作用：生产缓存事件池：当生产者设置了等待从partition的同步选项(requiredAcks为-1)时才会启动生产缓存。因为每一批生产的消息，需要等待所有的处于同步状态的从partition（in-sync）同步成功，在所有follow partition上报自己的水位

具体请参考：apache kafka中server.properties配置文件参数说明配置优化都是修改server.properties文件中参数值1.网络和io操作线程配置优化# broker处理消息的最大线程数num.network.threads=xxx# broker处理磁盘IO的线程数num.io.threads=xxx建议配置：一般nu

1.设计目标提供可配置，需要保障强可用性可以enable这个功能，如果想要更高的效率而不太在乎数据丢失的话，可以disable这个功能 自动replica管理，当cluster发生变化时，即broker server增加或减少时，可以自动的管理和调整replicas2.问题如何将partition的replicas均匀的分配到各个broker servers上面？ 如何进行replicas同

afka.common.ConsumerRebalanceFailedException: log-push-record-consumer-group_mobile-pushremind02.lf.sankuai.com-1399456594831-99f15e63 can't rebalance after 10 retriesat kafka.consumer.ZookeeperCons

ZookeeperConsumer类中consumer运行过过程架构分析

LeaderNotAvailableException

参考操作背景在创建一个topic时，kafka尽量将partition均分在所有的brokers上，并且将replicas也j均分在不同的broker上。每个partitiion的所有replicas叫做"assigned replicas"，"assigned replicas"中的第一个replicas叫"preferred replica"，刚创建的topic一般"p

背景最近在公司使用Kafka的Consumer高级API出现一些问题，问题描述如下： 大象push推送队列，在(大约每天8点到10点间)发送消息高峰期，消费节点负载处于高位、jvm内存占用大于%80。这时候JVM会频繁持续FullGC而卡住异步线程(stop the world)，心跳等异步线程就没法正常收发数据包。这种情况下导致zk会话过期触发Consumer rebalance，zk会话过期

背景一个月左右zk挂了2次，在此期间 Mafka和其他服务不可用，因为业务(使用不当)原因导致zk挂掉,间接影响其他服务(包括mafka)可用性，目前线上多个业务和多种服务共同一套mobile-zk集群， 只要一个业务使用不当，对zk造成影响或不可用，就会影响其他业务，所以现阶段拆分zk集群，做物理隔离，把mobile-zk集群按照业务分拆为多个zk集群。为mafka服务建立独立zk集群。问题2

今天编译kafka-0.8.2.1-src源代码，发现一个问题。编译始终报错，错误如下：lizhitao@users-MacBook-Pro-2:~/mt_wp/open_source/kafka-platform/kafka-0.8.2.1-src$ gradle jar_core_2_10_4 --stacktraceTo honour the JVM settings for this bu

之前Kafka存在的一个非常大的性能问题(隐患)就是利用ZK来记录各个Consumer Group的消费进度。当然JVM Client帮我们自动做了这些事情，但是Consumer需要和ZK频繁交互，而利用ZK Client API对ZK频繁写入是一个低效的操作，并且从水平扩展性上来讲也存在问题。所以ZK抖一抖，集群吞吐量就跟着一起抖，严重的时候简直抖的停不下来。 当然某些非JVM端的API压根就不