kafka
clarencezi
这个作者很懒,什么都没留下…
展开
-
Kafka集群平滑重启
最近修改公司线上kafka集群配置然后直接kill掉进程来重启集群发现所有生产者都无法写入数据导致丢了数据,栽了一个大坑,接下来的工作肯定是补坑找原因,就分享一下。系统环境说明:kafka版本为0.8.1.1,kafka集群配置为10.12.0.23:2181,10.12.0.24:2181,10.12.0.25:2181/kafka,因此在zookeeper中的根路径为:/kafka1.原创 2014-12-30 19:54:53 · 18531 阅读 · 0 评论 -
kafka0.8.1.1彻底删除topic并清空log内容
kafka0.8.1.1以及之前版本都无法使用类似一条命令就彻底删除topic,以前看过网上一些删除命令不过只是在zookeeper注销信息而已,但是实际的日志内容还是保存在kafka log中,因为个人需要所以慢慢琢磨了方法彻底清除topic(ps:kafka0.8.2好像直接支持直接删除,不过现在还是beta版 )。本人机器环境如下:Kafka目录:/usr/local/kafka_2原创 2014-12-17 21:08:29 · 3269 阅读 · 0 评论 -
非jvm语言如何定制kafka api
需求背景: 使用node.js的前端同学需要在程序里动态创建kafka topic。毫无疑问肯定先从kafka官网或者github找,可是找到的都是基于kafka服务端开启auto.create.topics.enable然后模拟request请求来达到,这种方式的局限是无法设置自己需要的分区数和副本数(只能使用kafka服务端配置文件的固定参数)。还有一种方式可以通过跟shell交互模拟命令行创原创 2016-09-05 19:16:34 · 870 阅读 · 0 评论 -
kafka partition在机器磁盘间的分布(源码分析系列小文)
前言:一个topic可以有很多个partition,而这些partition在整个集群中可以直观地看成一个二维坐标系,横轴代表集群中的不同机器,纵轴代表同一台机器上不同磁盘目录。 上一篇文章分析了partition如何在机器间分配,相当于我们已知横轴,那么我们怎么理解纵轴呢?也就是上一篇文章末尾说的剩下的事情交给kafka内部处理,这一节我们就来分析下kafka内部是如何处理。原创 2016-09-24 10:00:30 · 2991 阅读 · 0 评论