apache kafka技术分享系列(目录索引)

原创 2014年09月23日 16:03:09

apache Kafka中国社区

中国社区QQ群1:162272557 未满  收费5¥,保证QQ运营,腾讯QQ VIP收年费,2000人群非常活跃,质量很高

中国社区QQ群2:414762562 未满  1000人群

中国社区QQ群3:191278841未满    1000人群

中国社区QQ群4:415846802 未满   1000人群

每当有新blog发布时,会在此处更新,欢迎大家拍砖共同成长

目录索引:

Kafka使用场景

1.为何使用消息系统

2.我们为何需要搭建Apache Kafka分布式系统

3.消息队列中点对点与发布订阅区别

Kafka设计与原理分析

2)Kafka副本同步机制理解

3) Kafka文件存储机制那些事(我在美团官博发表文章)

Kafka开发与管理:

1)kafak安装与使用

2)apache kafka中server.properties配置文件参数说明

3)Apache kafka客户端开发-java

4)kafka的ZkUtils类的java版本部分代码

5)kafka log4j配置

6)apache kafka的consumer初始化时获取不到消息

7)apache kafka源码构建打包

8)apache kafka迁移与扩容工具用法


Kafka运维手册

1)如何在Kafka上创建一个Topic

2)如何在Kafka上对一个Topic增加partition

3)如何在Kafka上对一个Topic增加replicas

4)如何在Kafka中修改Topic的preferred replica

5)如何在Kafka中对Topic的leader进行均衡

6)apache kafka中topic级别配置

7)apache Kafka下线broker的操作


kafka异常分析:

1)kafka LeaderNotAvailableException

2)kafka.common.ConsumerRebalanceFailedException异常解决办法

3)  apache Kafka中partition的leader为-1情况分析

4) kafka-0.8.2.1-src编译报错解决办法


Kafka线上CaseStudy

1)Consumer rebalance失败问题定位和解决思路

2)线上Mafka集群网卡打爆原因分析及解决方案


kafka管理与运维监控相关:

1)apache kafka监控系列-监控指标

2)apache kafka jmx监控指标参数

3)apache kafka监控系列-kafka-web-console

4)apache kafka监控系列-KafkaOffsetMonitor

5)雅虎开源管理工具Kafka Manager

6)Zookeeper管理或操作Apache Kafka


kafka性能测试:

1)apache kafka性能测试命令使用和构建kafka-perf

2)Kafka性能测试报告(虚拟机版)


kafka源码分析:

1)kafka在zookeeper中存储结构

2)kafka replication设计机制

3)Kafka Producer处理逻辑

4)apache kafka源代码工程环境搭建(IDEA)

5)Kafka Controller设计机制

6) kafka broker内部架构

7)apache kafka源码分析走读-kafka整体结构分析

8)apache kafka源码分析走读-Producer分析

9)apache kafka性能优化架构分析

10)apache kafka源码分析走读-server端网络架构分析

11)apache kafka源码分析走读-ZookeeperConsumerConnector分析

12)kafka & mafka client开发与实践

13kafka的ZookeeperConsumer实现

14)Kafka通过timestamp获取offset的机制详解

15)  apache Kafka是如何实现删除数据文件(日志)的

16)kafka broker shutdown过程分析

17)   apache kafka系列之源码分析走读-kafkaApi详解

18)apache kafka系列之源码分析走读-SocketServer分析


Makfa平台

1)mafka平台架构

2) Mafka Roadmap和实现


业界MQ分析


<iframe id="cpro_u2392861_iframe" src="http://pos.baidu.com/icfm?sz=300x250&amp;rdid=2392861&amp;dc=2&amp;di=u2392861&amp;dri=0&amp;dis=0&amp;dai=1&amp;ps=737x1428&amp;coa=at%3D3%26rsi0%3D300%26rsi1%3D250%26pat%3D17%26tn%3DbaiduCustNativeAD_xuanfu%26rss1%3D%2523FFFFFF%26conBW%3D1%26adp%3D1%26ptt%3D0%26titFF%3D%2525E5%2525BE%2525AE%2525E8%2525BD%2525AF%2525E9%25259B%252585%2525E9%2525BB%252591%26titFS%3D14%26rss2%3D%2523000000%26titSU%3D0&amp;dcb=BAIDU_SSP_define&amp;dtm=BAIDU_DUP_SETJSONADSLOT&amp;dvi=0.0&amp;dci=-1&amp;dpt=none&amp;tsr=0&amp;tpr=1466357379346&amp;ti=%E8%85%BE%E8%AE%AF%20VS%20%E9%98%BF%E9%87%8C%20VS%20%E6%90%BA%E7%A8%8B%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E8%AE%BE%E8%AE%A1%E6%96%B9%E6%A1%88%E5%8F%8A%E6%80%9D%E8%B7%AF%20-%20%E6%9D%8E%E5%BF%97%E6%B6%9B%E7%9A%84%E4%B8%93%E6%A0%8F%20-%20%E5%8D%9A%E5%AE%A2%E9%A2%91%E9%81%93%20-%20CSDN.NET&amp;ari=1&amp;dbv=2&amp;drs=3&amp;pcs=1439x748&amp;pss=1439x7130&amp;cfv=0&amp;cpl=5&amp;chi=9&amp;cce=true&amp;cec=UTF-8&amp;tlm=1466357379&amp;ltu=http%3A%2F%2Fblog.csdn.net%2Flizhitao%2Farticle%2Fdetails%2F51718156&amp;ltr=http%3A%2F%2Fwrite.blog.csdn.net%2Fmdeditor&amp;ecd=1&amp;psr=1440x900&amp;par=1440x819&amp;pis=-1x-1&amp;ccd=24&amp;cja=false&amp;cmi=7&amp;col=zh-CN&amp;cdo=-1&amp;tcn=1466357379&amp;qn=cf708deb2ceff53d&amp;tt=1466357379327.23.175.179" width="300" height="250" align="center,center" vspace="0" hspace="0" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true" style="border-width: 0px; border-style: initial; vertical-align: bottom; margin: 0px;"></iframe>
关闭

1.腾讯 VS 阿里 VS 携程消息中间件设计方案及思路

学习成长

Kafka中国社区QQ群友博客引用

Liunx系统诊断



请注明转载自:http://blog.csdn.net/lizhitao/article/details/39499283

关于文档和blog问题,由于零散原因,不便于大家学习和使用,过段时间,我考虑放到git上。先把目录结构写上,咋们一起去完善并补充上。希望各位Kafka技术爱好者共同参与进来。有什么意见可以在下面写一些评论和改进方法,以帮助笔者提高并最终反馈给大家,谢谢。


相关文章推荐

kafka官网译文

项目中对kafka有所使用,但一直都是根据公司内部wiki提供的demo来写的,对kafka有一定了解,但是可能不够系统,全面;于是最近找时间浏览了一下官网对kafka的介绍,翻译如下:一句话概括ka...

apache kafka系列之文件系统设计那些

kafka文件系统设计那些事,从架构层面,实现机制角度阐述kafka文件系统高效性能。 一个大文件分成多个小文件段。 多个小文件段,容易定时清除或删除已经消费完文件,减少磁盘占用。 index全部映射...

Kafka 设计与原理详解

一、Kafka简介1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战: 如何收集这些巨大的信息 如何分析它 如何及时...

apache kafka技术分享系列(目录索引)

转载出处:http://blog.csdn.net/lizhitao/article/details/39499283 kafka开发与管理: 1)apache kafka消息服务 ...

KAFKA目录结构

 找到kafka的安装目录 find / -name kafka* -type d   [root@DockerHostconfig]# cd /wls/kafka_2.11-0...

Kafka Manager - 一个管理 Apache Kafka 的工具

Kafka Manager - 一个管理 Apache Kafka 的工具 时间 2015-02-05 08:23:49  佚名 原文  https://github.com/yahoo/ka...

apache kafka系列之安装与使用

1.前言 学习kafka的基础是先把kafka系统部署起来,然后简单的使用它,从直观上感觉它,然后逐步的深入了解它。 本文介绍了kafka部署方法,包括配置,安装和简单的使用。 2.kafk...

apache kafka监控系列-KafkaOffsetMonitor

最近kafka server消息服务上线了,基于jmx指标参数也写到zabbix中了,但总觉得缺少点什么东西,可视化可操作的界面。zabbix中数据比较分散,不能集中看整个集群情况。或者一个clust...
  • lizhitao
  • lizhitao
  • 2014年05月27日 18:15
  • 26821

Kafka深度解析

背景介绍 Kafka简介   Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高...
  • qqqq724
  • qqqq724
  • 2015年01月28日 13:04
  • 63623
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:apache kafka技术分享系列(目录索引)
举报原因:
原因补充:

(最多只允许输入30个字)