![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 97
每天进步一奈奈
这个作者很懒,什么都没留下…
展开
-
Kafka学习笔记(十)kakfa消费组和重平衡
版权声明:本文为转载文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。原文链接:https://blog.csdn.net/weixin_39468305/article/details/106846814摘要:Consumer Group 指多个消费者实例组成一个组来共同消费一组主题,它可谓大名鼎鼎,不仅可以加速消费端 TPS,还具有扩展性和容错性等优势。而组成员之间如何达成一致来分配订阅 Topic,又成为了 Rebalance(重平衡)的重头大戏,不得不夸赞 Re..转载 2020-11-04 14:29:04 · 250 阅读 · 0 评论 -
Kafka学习笔记(九)kakfa消费位移
版权声明:本文为转载文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。原文链接:https://blog.csdn.net/weixin_39468305/article/details/106799061摘要:Kafka中的位移是个极其重要的概念,因为数据一致性、准确性是一个很重要的语义,我们都不希望消息重复消费或者丢失,我们也希望能自由控制消费位置。而位移就是控制消费进度的大佬。本文聊聊kafka消费位移的那些事,包括:概念剖析kafka的两种位移关..转载 2020-11-04 13:40:39 · 741 阅读 · 0 评论 -
Kafka学习笔记(八)Kafka消费者
版权声明:本文为转载文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。原文链接:https://blog.csdn.net/weixin_39468305/article/details/106774777 消费者消费速率跟不上怎么办? 消费组是什么?重平衡是什么? 消费者数据丢失了怎么办?重复消费了怎么办? 怎么指定位置消费?比如我铁了心要2020-05-20 13:14开始消费。 如果有任一问题回答不出来,那你就不能说自己掌...转载 2020-11-03 15:19:15 · 717 阅读 · 2 评论 -
Kafka学习笔记(七)Kafka生产者分析
版权声明:本文为转载文章有部分修改,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。原文链接:https://blog.csdn.net/weixin_39468305/article/details/106740953作为应用者,如果你不研究透彻,很多生产问题你也无法解决,比如:"为什么我的报表数据不准呢?和源头数据对不上是怎么回事?""为什么吞吐量提升不上来呢?怎么优化?"那么今天就通过源码了解一下kafka生产者优秀的架构设计、以及完整的发送流程、参...转载 2020-11-03 10:45:38 · 1815 阅读 · 0 评论 -
Kafka学习笔记(六)Kafka生产者
版权声明:本文为转载文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/weixin_39468305/article/details/106610773Kafka系列博文的前三篇,我们都在讲概念,集群的概念、分区的概念、副本的概念。。行了行了别说了。今天不来点实际操练,我都不想再看下去了。那好吧,今天就动起来吧~我们都知道kafka是消息引擎,既然是消息引擎就得有消息,那么消息怎么来的呢?你会告诉我,so ...转载 2020-11-02 16:42:04 · 403 阅读 · 0 评论 -
Kafka学习笔记(五)副本机制
版权声明:本文为转载文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。原文链接:https://blog.csdn.net/weixin_39468305/article/details/106369196Topic、Partition、Replica是主题层三要素,每个Topic都有至少一个Partition,而Partition有副本机制,Kafka 定义了两类副本:领导者副本和追随者副本。只能有 1 个领导者副本和 N-1 个追随者副本。这些都是你死记硬...转载 2020-11-02 15:31:20 · 338 阅读 · 0 评论 -
Kafka学习笔记(四)分区机制
主题是存储消息的一个逻辑概念,可以简单理解为一类消息的集合。每个主题又可以划分成多个分区,每个分区存储不同的消息。当消息添加至分区时,会为其分配一个位移offset(从0开始递增),并保证分区上唯一,消息在分区上的顺序由offset保证,即同一个分区内的消息是有序的。如下图所示:为什么主题之下需要有分区的概念呢?有啥用?分区到底是个什么东西,怎么存储的呢?生产者生产消息的时候怎样决定消息分配到哪个分区呢?分区会带来哪些不利影响呢?本文从以下几个方面为你一一解答:分转载 2020-11-02 14:57:08 · 437 阅读 · 0 评论 -
kafka学习笔记(三)SpringBoot初体验Kafka
创建项目用spring初始化器创建一个项目把kafka选上去。我这里用的版本是2.1.15。首先看一下目录结构,我这里是一个父工程下的子模块。配置文件如下:父工程:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-insta原创 2020-10-30 14:10:22 · 395 阅读 · 0 评论 -
kafka学习笔记(二)简单安装
准备准备三台虚拟机192.168.10.12192.168.10.13192.168.10.14安装jdk每台设备安装yum install java-1.8.0-openjdk下载之后默认的目录为:/usr/lib/jvm/验证[root@localhost ~]# java -versionopenjdk version "1.8.0_262"OpenJDK Runtime Environment (build 1.8.0_262-b10)OpenJDK.原创 2020-09-29 19:04:57 · 405 阅读 · 0 评论 -
kafka学习笔记(一)简介
Kafka是什么Kafka是Apache旗下的一款分布式流媒体平台,Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。消息系统分类Peer-to-Peer (Queue)简单来说就是生产者(Producer)发送消息到队列,消费者(Consumer)从队列中取出消息。这种模型的特点就是原创 2020-09-25 09:13:59 · 766 阅读 · 0 评论