![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 83
小橘子丶
这个作者很懒,什么都没留下…
展开
-
Kafka学习之路 (五)Kafka在zookeeper中的存储
Kafka学习之路 (五)Kafka在zookeeper中的存储一丶 Kafka在zookeeper中存储结构图二丶分析2.1 topic注册信息/brokers/topics[topic]:存储某个topic的partitions所有分配信息[zk: localhost:2181(CONNECTED) 1] get /brokers/topics/topic2Schema:{ "version": "版本编号目前固定为数字1", "partitions": {原创 2021-01-18 17:38:44 · 147 阅读 · 1 评论 -
Kafka学习之路(四)Kafka的安装
一丶下载下载地址:http://kafka.apache.org/downloads.htmlhttp://mirrors.hust.edu.cn/apache/二丶安装前提(zookeeper安装)参考:http://www.cnblogs.com/qingyunzong/p/8634335.html#_label4_0三丶安装此处使用版本为kafka_2.11-0.8.2.0.tgz2.1上传解压缩[hadoop@hadoop1 ~]$ tar -zxvf kafka_2.11-0.原创 2021-01-18 16:45:28 · 82 阅读 · 0 评论 -
Kafka学习之路(三)Kafka的高可用
一丶高可用的由来1.1为何需要Replication在kafka在0.8以前的版本中,是没有Replication的,一旦某个Broker宕机,则其上有的Partition数据都不可被消费,这与kafka数据持久性及DeliceryGuaeantee的设计目标相悖。同时Producer都不能再将数据存在于这些Partition中.如果Producer使用同步模式则Producer会在尝试重新发送message,send.max.retries(默认值为3)次后抛出Exception,用户可以选停止原创 2021-01-18 16:04:44 · 205 阅读 · 2 评论 -
Kafka学习之路(二)Kafka的架构
Kafka学习之路(二)Kafka的架构一丶Kafka的架构如上图所示,一个典型的Kafka集群中包含若干Producer(可以是wen前端产生的Page View,或者是服务器日志,系统CPU,Memory等),若干broler(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干ConsumerGroup,以及一个Zookeeper集群,Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group 发生变化时进行rebalance.Prod原创 2021-01-12 15:09:48 · 97 阅读 · 0 评论 -
Kafka学习之路(一)Kafka的简介
一丶简介1.1概述Kafka是最初由Linkedin公司开发,是一个分布式,分区的,多副本的,多订阅者,基于zookeeper协调的分布式日志系统也可以当做MQ系统常见可以用web/nignx日志,访问日志,消息服务等等,Linkedin2010年贡献给了Apache基金会并成为定义开源项目,主要应用场景是:日志收集系统和消息系统Kafka主要设计目标如下:1.一时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证时间的访问性能2.高吞吐率,即使在非常廉价的商用机器上也能做原创 2021-01-11 15:03:21 · 174 阅读 · 0 评论 -
kafka安装与部署
Kafka的特性:高吞吐,低延迟,可扩展性,持久性,可靠性,容错性,高并发.Kafka的安装:首先安装Zookeeper下载安装包: https://zookeeper.apache.org/releases.html#download解压并进入Zookeeper目录,如: D:\kafka\apache-zookeeper-3.6.2-bin\conf将”zoo_sample.cfg”重命名为”zoo.cfg” 打开”zoo.cfg”找到并编辑dataDir=D:\kafka\apach原创 2021-01-04 17:18:32 · 259 阅读 · 0 评论 -
spring加kafka
spring加kafka1.导入jar<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <modelVersion>4.0.0原创 2020-12-16 10:43:19 · 98 阅读 · 0 评论