apache kafka技术分享系列(目录索引)

2014年09月23日 16:03:09

apache Kafka中国社区

中国社区QQ群1:162272557 未满  收费5¥,保证QQ运营,腾讯QQ VIP收年费,2000人群非常活跃,质量很高

中国社区QQ群2:414762562 未满  1000人群

中国社区QQ群3:191278841未满    1000人群

中国社区QQ群4:415846802 未满   1000人群

每当有新blog发布时,会在此处更新,欢迎大家拍砖共同成长

目录索引:

Kafka使用场景

1.为何使用消息系统

2.我们为何需要搭建Apache Kafka分布式系统

3.消息队列中点对点与发布订阅区别

Kafka设计与原理分析

1)apache Kafka概要介绍

2)Kafka副本同步机制理解
3) Kafka文件存储机制那些事(我在美团官博发表文章)

Kafka开发与管理:

1)kafak安装与使用

2)apache kafka中server.properties配置文件参数说明

3)Apache kafka客户端开发-java

4)kafka的ZkUtils类的java版本部分代码

5)kafka log4j配置

6)apache kafka的consumer初始化时获取不到消息

7)apache kafka源码构建打包

8)apache kafka迁移与扩容工具用法


Kafka运维手册

1)如何在Kafka上创建一个Topic

2)如何在Kafka上对一个Topic增加partition

3)如何在Kafka上对一个Topic增加replicas

4)如何在Kafka中修改Topic的preferred replica

5)如何在Kafka中对Topic的leader进行均衡

6)apache kafka中topic级别配置

7)apache Kafka下线broker的操作


kafka异常分析:

1)kafka LeaderNotAvailableException

2)kafka.common.ConsumerRebalanceFailedException异常解决办法

3)  apache Kafka中partition的leader为-1情况分析

4) kafka-0.8.2.1-src编译报错解决办法


Kafka线上CaseStudy

1)Consumer rebalance失败问题定位和解决思路

2)线上Mafka集群网卡打爆原因分析及解决方案


kafka管理与运维监控相关:

1)apache kafka监控系列-监控指标

2)apache kafka jmx监控指标参数

3)apache kafka监控系列-kafka-web-console

4)apache kafka监控系列-KafkaOffsetMonitor

5)雅虎开源管理工具Kafka Manager

6)Zookeeper管理或操作Apache Kafka


kafka性能测试:

1)apache kafka性能测试命令使用和构建kafka-perf

2)Kafka性能测试报告(虚拟机版)


kafka源码分析:

1)kafka在zookeeper中存储结构

2)kafka replication设计机制

3)Kafka Producer处理逻辑

4)apache kafka源代码工程环境搭建(IDEA)

5)Kafka Controller设计机制

6) kafka broker内部架构

7)apache kafka源码分析走读-kafka整体结构分析

8)apache kafka源码分析走读-Producer分析

9)apache kafka性能优化架构分析

10)apache kafka源码分析走读-server端网络架构分析

11)apache kafka源码分析走读-ZookeeperConsumerConnector分析

12)kafka & mafka client开发与实践

13kafka的ZookeeperConsumer实现

14)Kafka通过timestamp获取offset的机制详解

15)  apache Kafka是如何实现删除数据文件(日志)的

16)kafka broker shutdown过程分析

17)   apache kafka系列之源码分析走读-kafkaApi详解

18)apache kafka系列之源码分析走读-SocketServer分析


Makfa平台

1)mafka平台架构

2) Mafka Roadmap和实现


业界MQ分析


<iframe id="cpro_u2392861_iframe" src="http://pos.baidu.com/icfm?sz=300x250&amp;rdid=2392861&amp;dc=2&amp;di=u2392861&amp;dri=0&amp;dis=0&amp;dai=1&amp;ps=737x1428&amp;coa=at%3D3%26rsi0%3D300%26rsi1%3D250%26pat%3D17%26tn%3DbaiduCustNativeAD_xuanfu%26rss1%3D%2523FFFFFF%26conBW%3D1%26adp%3D1%26ptt%3D0%26titFF%3D%2525E5%2525BE%2525AE%2525E8%2525BD%2525AF%2525E9%25259B%252585%2525E9%2525BB%252591%26titFS%3D14%26rss2%3D%2523000000%26titSU%3D0&amp;dcb=BAIDU_SSP_define&amp;dtm=BAIDU_DUP_SETJSONADSLOT&amp;dvi=0.0&amp;dci=-1&amp;dpt=none&amp;tsr=0&amp;tpr=1466357379346&amp;ti=%E8%85%BE%E8%AE%AF%20VS%20%E9%98%BF%E9%87%8C%20VS%20%E6%90%BA%E7%A8%8B%E6%B6%88%E6%81%AF%E4%B8%AD%E9%97%B4%E4%BB%B6%E8%AE%BE%E8%AE%A1%E6%96%B9%E6%A1%88%E5%8F%8A%E6%80%9D%E8%B7%AF%20-%20%E6%9D%8E%E5%BF%97%E6%B6%9B%E7%9A%84%E4%B8%93%E6%A0%8F%20-%20%E5%8D%9A%E5%AE%A2%E9%A2%91%E9%81%93%20-%20CSDN.NET&amp;ari=1&amp;dbv=2&amp;drs=3&amp;pcs=1439x748&amp;pss=1439x7130&amp;cfv=0&amp;cpl=5&amp;chi=9&amp;cce=true&amp;cec=UTF-8&amp;tlm=1466357379&amp;ltu=http%3A%2F%2Fblog.csdn.net%2Flizhitao%2Farticle%2Fdetails%2F51718156&amp;ltr=http%3A%2F%2Fwrite.blog.csdn.net%2Fmdeditor&amp;ecd=1&amp;psr=1440x900&amp;par=1440x819&amp;pis=-1x-1&amp;ccd=24&amp;cja=false&amp;cmi=7&amp;col=zh-CN&amp;cdo=-1&amp;tcn=1466357379&amp;qn=cf708deb2ceff53d&amp;tt=1466357379327.23.175.179" width="300" height="250" align="center,center" vspace="0" hspace="0" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true" style="border-width: 0px; border-style: initial; vertical-align: bottom; margin: 0px;"></iframe>
关闭

1.腾讯 VS 阿里 VS 携程消息中间件设计方案及思路

学习成长

Kafka中国社区QQ群友博客引用


Liunx系统诊断


JVM问题定位和排错
 


请注明转载自:http://blog.csdn.net/lizhitao/article/details/39499283

关于文档和blog问题,由于零散原因,不便于大家学习和使用,过段时间,我考虑放到git上。先把目录结构写上,咋们一起去完善并补充上。希望各位Kafka技术爱好者共同参与进来。有什么意见可以在下面写一些评论和改进方法,以帮助笔者提高并最终反馈给大家,谢谢。


Kafka总结系列(三)

继续上一篇。 The consumer:       kafka的消费者通过向broker发送“fetch”请求获取他要消费的partition的信息。消费者在每个请求中标记他已经消费到的offs...
  • anjing900812
  • anjing900812
  • 2016年06月26日 13:38
  • 621

Kafka入门

Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),,之后成为Apac...
  • smallnest
  • smallnest
  • 2014年08月11日 13:50
  • 27312

Kafka 设计与原理详解

一、Kafka简介1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战: 如何收集这些巨大的信息 如何分析它 如何及时...
  • suifeng3051
  • suifeng3051
  • 2015年08月28日 16:36
  • 64590

Kafka深度解析

背景介绍 Kafka简介   Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证...
  • huaweitman
  • huaweitman
  • 2016年03月02日 20:11
  • 8225

Kafka 0.10.1 官方文档(中文版)-0

由于在网上看到的资料都是0.8x的,最新的文档没有找到,所以翻译下 kafka V0.10.1。JUST DO IT !Kafka™ is used for building real-time da...
  • liaoyulin0609
  • liaoyulin0609
  • 2016年11月02日 22:50
  • 9248

Apache kafka官方文档

  • 2017年12月04日 07:35
  • 1.56MB
  • 下载

Kafka官方文档-快速入门

快速入门快速入门 第一步下载kafka 第二步启动kafka服务端 第三步创建主题 第四步发送消息 第五步启动消费者 第六步启动一个多broker集群 第七步使用Kafka连接器Kafka Conne...
  • KimmKing
  • KimmKing
  • 2017年05月05日 23:06
  • 2627

Kafka &amp; Mafka技术分享及讨论

  • 2016年03月16日 16:45
  • 1.25MB
  • 下载

apache kafka系列之文件系统设计那些

kafka文件系统设计那些事,从架构层面,实现机制角度阐述kafka文件系统高效性能。 一个大文件分成多个小文件段。 多个小文件段,容易定时清除或删除已经消费完文件,减少磁盘占用。 index全部映射...
  • lizhitao
  • lizhitao
  • 2014年10月28日 18:20
  • 6144
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:apache kafka技术分享系列(目录索引)
举报原因:
原因补充:

(最多只允许输入30个字)