![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 82
孙悟空2015
追根溯底,回归本质,挖掘兴趣,激发思考。
展开
-
Kafka 容错及高可用原理 | 运维进阶
在kafka中以分区作为复制单元。每个topic由一个或多个分区组成,每个分区都包含一个leader副本及0个或多个follower副本。当你在创建topic时,需要指定分区数及复制因子。通常情况下一个复制因子是3的topic表明它有一个leader副本及两个follower副本。不论是一个leader副本还是一个follower副本都会被算作一个数据副本。1个topic的4个分区分布在3个broker上一个独立的 Kafka 服务器就被称为 broker,broker 接收来自生产者的消息,为消息设置偏移转载 2022-09-26 11:32:14 · 1138 阅读 · 1 评论 -
Kafka学习笔记——centos7下kafka安装配置与验证
简介我们先看看官方给出的kafka分布式架构图 多个 broker 协同合作,producer 和 consumer 部署在各个业务逡辑中被频繁的调用,三者通过 zookeeper管理协调请求和转収。返样一个高怅能的分布式消息収布不订阅系统就完成了。 我们以一个broker为例介绍下整个消息系统的启动过程 整个系统运行的顺序: 1.启劢 zookeeper 的 server 2.原创 2017-06-17 12:32:45 · 9025 阅读 · 0 评论 -
Kafka学习笔记——Kafka原理与使用详解
Kafka 是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量(Page View)、被查看内容方面的信息以及搜索情况等内容。这种数据通原创 2017-06-08 23:29:11 · 25546 阅读 · 2 评论 -
Kafka学习笔记——Kafka简介与使用场景介绍
IntroductionKafka 是 linkedin 用于日志处理的分布式消息队列,同时支持离线和在线日志处理。kafka 对消息保存时根据 Topic 进行归类,发送消息者成为 Producer,消息接受者成为 Consumer,此外 kafka 集群有多个 kafka 实例组成,每个实例(server)称为 broker。无论是 kafka集群,还是 producer 和 consumer原创 2017-06-07 21:19:55 · 4233 阅读 · 0 评论 -
Kafka学习笔记——使用Kafka记录APP的操作日志
上一篇文章我们讲到了Kafka的工作原理和如何使用Kafka的代码示例,这里我们开始讲解Kafka的实战,在实际的应用中我们如何使用kafka的。下面将介绍前台的操作日志定时推送到kafka,然后通过kafka将消息日志进行保存,方便大数据的统计分析形成运营报表。 我们先看看工程的目录结构: kafka的版本是: <dependency> <groupId>原创 2017-06-10 23:25:08 · 6412 阅读 · 1 评论