kafka
文章平均质量分 91
汤高
喜欢开源的框架技术、乐于研究其底层源码,把个人从学习到工作中用到的所有技术梳理总结,也分享给所有爱学习新技术的朋友们,相互交流,一起进步
展开
-
kafka自学之路--zookeeper中存储结构
1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: { "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组brok转载 2016-07-18 16:33:06 · 3390 阅读 · 0 评论 -
kafka学习之路(三)——高级
设计原理kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力.持久性kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任何OS下,对文件系统本身的优化几乎没有可能.文件缓存/直接内存映射等是常用的手段.因为kafka是对日志文件进行append操作,因此磁盘检索的开支是较小的;同时为...原创 2016-07-17 21:34:43 · 8513 阅读 · 0 评论 -
kafka学习之路(二)——提高
kafka学习之路(二)——提高消息发送流程因为Kafka内在就是分布式的,一个Kafka集群通常包括多个代理。为了均衡负载,将话题分成多个分区,每个代理存储一或多个分区。多个生产者和消费者能够同时生产和获取消息。 过程:1.Producer根据指定的partition方法(round-robin、hash等),将消息发布到指定topic的partition里面2.kafka集群接收到Produ...原创 2016-07-17 14:59:26 · 11603 阅读 · 3 评论 -
KafKa(0.10)安装部署和测试
Step 1: 下载代码 http://kafka.apache.org/downloads.html 0.10.0.0是最新版本。 当前的稳定版本是0.10.0.0。 下载0.10.0.0版本并且解压它。 > tar -zxvf kafka_2.10-0.10.0.0.tgz > cd kafka_2.11-0.10.0.0 Step 2: 启动服务 运行kafka需要使用原创 2016-06-25 14:14:51 · 11110 阅读 · 0 评论 -
kafka学习之路(一)——入门
kafka学习之路(一)——入门Kafka学习之路...一、入门..1、 简介2、 主题(Topics)、日志(Logs)3、 分布式(Distribution)4、 生产者(Producers)5、 消费者(Consumers) 一、入门1、简介Kafka 是linkedin 公司用于日志处理的分布式消息队列,同时支持离线和在线日志处理。kafk...原创 2016-07-16 23:32:26 · 20152 阅读 · 6 评论