- 博客(7)
- 资源 (48)
- 收藏
- 关注
原创 kafka partition在机器磁盘间的分布(源码分析系列小文)
前言:一个topic可以有很多个partition,而这些partition在整个集群中可以直观地看成一个二维坐标系,横轴代表集群中的不同机器,纵轴代表同一台机器上不同磁盘目录。 上一篇文章分析了partition如何在机器间分配,相当于我们已知横轴,那么我们怎么理解纵轴呢?也就是上一篇文章末尾说的剩下的事情交给kafka内部处理,这一节我们就来分析下kafka内部是如何处理。
2016-09-24 10:00:30 2978
原创 非jvm语言如何定制kafka api
需求背景: 使用node.js的前端同学需要在程序里动态创建kafka topic。毫无疑问肯定先从kafka官网或者github找,可是找到的都是基于kafka服务端开启auto.create.topics.enable然后模拟request请求来达到,这种方式的局限是无法设置自己需要的分区数和副本数(只能使用kafka服务端配置文件的固定参数)。还有一种方式可以通过跟shell交互模拟命令行创
2016-09-05 19:16:34 860
原创 Kafka集群平滑重启
最近修改公司线上kafka集群配置然后直接kill掉进程来重启集群发现所有生产者都无法写入数据导致丢了数据,栽了一个大坑,接下来的工作肯定是补坑找原因,就分享一下。 系统环境说明:kafka版本为0.8.1.1,kafka集群配置为10.12.0.23:2181,10.12.0.24:2181,10.12.0.25:2181/kafka,因此在zookeeper中的根路径为:/kafka 1.
2014-12-30 19:54:53 18513
原创 kafka0.8.1.1彻底删除topic并清空log内容
kafka0.8.1.1以及之前版本都无法使用类似一条命令就彻底删除topic,以前看过网上一些删除命令不过只是在zookeeper注销信息而已,但是实际的日志内容还是保存在kafka log中,因为个人需要所以慢慢琢磨了方法彻底清除topic(ps:kafka0.8.2好像直接支持直接删除,不过现在还是beta版 )。 本人机器环境如下: Kafka目录:/usr/local/kafka_2
2014-12-17 21:08:29 3256
原创 Python分析处理本机各项数据并以chartdirector图形化展示
本文是python应用的入门级别的基础学习文章,数据处理以最直观的方式实现,以后可以考虑优化。对于chartdirector的使用可以参看官网的英文说明文档,非常详细简明易懂。 需要处理的数据格式如下: user1=({'eth0_outMbitps': 4.4299999999999997, 'eth1_outMbitps': 9.9700000000000006, 'eth0_outPac
2014-03-14 23:03:09 1734
原创 如何使用10M的内存读入100M的文件,并且保证在读取过程中可进行删除、修改和增加内容
这是几个月前我面试金山网络的校招题目,面试官的原题是:假设你的电脑内存是100M,现在让你去读取一个1G的电影,在看电影的过程中可以进行剪切或插入片段,你应该怎么去设计这个内存。说完后面试官就把一张纸一支笔放在我面前,然后自己拿出手机在那里玩游戏…… 那时到了面试结束我问面试官有没标准的答案,他说答案不能告诉我的,因为后面还有很多人面试,鄙人不才,目前还是一名学生,以下只是我分享一下自
2014-03-14 10:24:39 2424
转载 CentOS6.3环境下openresty安装drizzle模块
看过很多篇openresty安装drizzle,而且进行尝试都没有成功,经过多次尝试终于安装好了,虽然经过自己处理,但是原来的核心还是属于别人的,嘻嘻,进入正文: 1.首先安装drizzle7-2011.07.21.tar.gz wget http://agentzh.org/misc/nginx/drizzle7-2011.07.21.tar.gz tar zxvf drizzle7-2
2014-03-13 23:05:39 1128
asp.net mvc框架编写的绩效考评系统(可做毕业设计或课程设计)
2014-03-13
Asp.net mvc编写的人员管理系统(入门级别)
2014-03-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人