kafka
文章平均质量分 83
小橘子丶
这个作者很懒,什么都没留下…
展开
-
Kafka学习之路 (五)Kafka在zookeeper中的存储
Kafka学习之路 (五)Kafka在zookeeper中的存储 一丶 Kafka在zookeeper中存储结构图 二丶分析 2.1 topic注册信息 /brokers/topics[topic]: 存储某个topic的partitions所有分配信息 [zk: localhost:2181(CONNECTED) 1] get /brokers/topics/topic2 Schema: { "version": "版本编号目前固定为数字1", "partitions": {原创 2021-01-18 17:38:44 · 132 阅读 · 1 评论 -
Kafka学习之路(四)Kafka的安装
一丶下载 下载地址: http://kafka.apache.org/downloads.html http://mirrors.hust.edu.cn/apache/ 二丶安装前提(zookeeper安装) 参考: http://www.cnblogs.com/qingyunzong/p/8634335.html#_label4_0 三丶安装 此处使用版本为kafka_2.11-0.8.2.0.tgz 2.1上传解压缩 [hadoop@hadoop1 ~]$ tar -zxvf kafka_2.11-0.原创 2021-01-18 16:45:28 · 69 阅读 · 0 评论 -
Kafka学习之路(三)Kafka的高可用
一丶高可用的由来 1.1为何需要Replication 在kafka在0.8以前的版本中,是没有Replication的,一旦某个Broker宕机,则其上有的Partition数据都不可被消费,这与kafka数据持久性及Delicery Guaeantee的设计目标相悖。同时Producer都不能再将数据存在于这些Partition中. 如果Producer使用同步模式则Producer会在尝试重新发送message,send.max.retries(默认值为3)次后抛出Exception,用户可以选停止原创 2021-01-18 16:04:44 · 190 阅读 · 2 评论 -
Kafka学习之路(二)Kafka的架构
Kafka学习之路(二)Kafka的架构 一丶Kafka的架构 如上图所示,一个典型的Kafka集群中包含若干Producer(可以是wen前端产生的Page View,或者是服务器日志,系统CPU,Memory等),若干broler(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干ConsumerGroup,以及一个Zookeeper集群,Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group 发生变化时进行rebalance.Prod原创 2021-01-12 15:09:48 · 85 阅读 · 0 评论 -
Kafka学习之路(一)Kafka的简介
一丶简介 1.1概述 Kafka是最初由Linkedin公司开发,是一个分布式,分区的,多副本的,多订阅者,基于zookeeper协调的分布式日志系统也可以当做MQ系统常见可以用web/nignx日志,访问日志,消息服务等等,Linkedin2010年贡献给了Apache基金会并成为定义开源项目, 主要应用场景是:日志收集系统和消息系统 Kafka主要设计目标如下: 1.一时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证时间的访问性能 2.高吞吐率,即使在非常廉价的商用机器上也能做原创 2021-01-11 15:03:21 · 162 阅读 · 0 评论 -
kafka安装与部署
Kafka的特性: 高吞吐,低延迟,可扩展性,持久性,可靠性,容错性,高并发. Kafka的安装: 首先安装Zookeeper 下载安装包: https://zookeeper.apache.org/releases.html#download 解压并进入Zookeeper目录,如: D:\kafka\apache-zookeeper-3.6.2-bin\conf 将”zoo_sample.cfg”重命名为”zoo.cfg” 打开”zoo.cfg”找到并编辑dataDir=D:\kafka\apach原创 2021-01-04 17:18:32 · 222 阅读 · 0 评论 -
spring加kafka
spring加kafka 1.导入jar <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <modelVersion>4.0.0原创 2020-12-16 10:43:19 · 86 阅读 · 0 评论