kafka
tinysakurac
蹒跚学步的猿
展开
-
kafka核心概念
转载自happy19870612的博客 一 Broker(代理) 一台kafka服务器就可以称之为broker.一个集群由多个broker组成,一个broker可以有多个topic 二 Topic(主题) 每一条发送到kafka集群的消息都可以有一个类别,这个类别叫做topic,不同的消息会进行分开存储,如果topic很大,可以分布到多个broker上 也可以这样理解:topic被认为是一个队列,...转载 2019-09-24 19:09:06 · 140 阅读 · 0 评论 -
kafka设计原理
转载自李克华的博客 kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力. 1、持久性 kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任何OS下,对文件系统本身的优化几乎没有可能.文件缓存/直接内存映射等是常用的手段.因为kafka是对日志文件进行append操作,因此磁盘检索的...转载 2019-09-30 11:38:00 · 439 阅读 · 0 评论