Kafka
Lv_Hulk
从“0”到“1”!
展开
-
Kafka的简介
Kafka的简介 一、简介 1.1 概述 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是:日志收集系统和消息系统。 Kafka主要设计目标如下:...原创 2019-03-19 17:38:37 · 684 阅读 · 0 评论 -
Kafka的架构
Kafka的架构 一、Kafka的架构 如上图所示,一个典型的Kafka集群中包含若干Producer(可以是web前端产生的Page View,或者是服务器日志,系统CPU、Memory等),若干broker(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干Consumer Group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举l...原创 2019-03-19 17:42:29 · 122 阅读 · 0 评论 -
Kafka的高可用
Kafka的高可用 一、高可用的由来 1.1 为何需要Replication 在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Producer都不能再将数据存于这些Partition中。 如果Producer使用同步...原创 2019-03-19 17:47:06 · 130 阅读 · 0 评论 -
Kafka的安装
Kafka的安装 一、下载 下载地址: http://kafka.apache.org/downloads.html http://mirrors.hust.edu.cn/apache/ 二、安装前提(zookeeper安装) 参考http://www.cnblogs.com/qingyunzong/p/8634335.html#_label4_0 三、安装 此处使用版本为kafka_2.11-0...原创 2019-03-19 17:55:53 · 166 阅读 · 0 评论 -
Kafka在zookeeper中的存储
Kafka在zookeeper中的存储 一、Kafka在zookeeper中存储结构图 二、分析 2.1 topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 [zk: localhost:2181(CONNECTED) 1] get /brokers/topics/topic2 Schema: { "vers...原创 2019-03-19 18:05:22 · 146 阅读 · 0 评论