![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 83
kiraraLou
这个作者很懒,什么都没留下…
展开
-
【kafka】Connection to node -1) terminated during authentication. This may happen due to any of
最近在使用java消费kafka。原创 2022-10-21 09:33:07 · 4543 阅读 · 0 评论 -
【Kafka】flinkProducer kafka分区策略及kafka 默认分区策略
最近在学习 读写 , 突然想到如果 生产消息到,那么这条消息如何确定发往那个分区。顺便也回顾下 本身一个默认分区策略和生产策略这里整理并记录下。这里我们使用 来将数据写入到 Kafka,那么KafkaSink 是如何确定一条消息要发送到那个分区?默认的策略是什么?可以看到 只有 这一个默认的实现。相关的分区策略代码如下:可以看出 是根据运行子任务的并行度进行分区数的取余写入的。计算公式如下。2. null当我们代码指定分区策略为 时,那么肯定就会选用Kafka 本身默认的分区策略。我原创 2022-07-04 14:30:21 · 3382 阅读 · 3 评论 -
【Kafka】 Kafka 外网无法消费的问题
最近在学习,于是在阿里云搭建了服务。在阿里云服务器上使用命令行手动生产、消费都没什么问题,但是在使用代码消费时,却一直,无法消费。使用 调试,控制台没有任何输出,仿佛卡住了一样。这里需要配置为外网的地址和端口,是暴露给外部的,如果没有设置,会用如:这里贴下相关的代码2. 代码问题解决!...原创 2022-06-30 14:27:24 · 640 阅读 · 0 评论 -
【Kafka】MirrorMaker 一次错误的配置引发的血案
最近 需要增加同步几个 到下游 集群。修改配置后,重启 服务后一直无法正常消费。报 的错误。这里整理并记录一下。二、问题分析一开始,观察到服务没有别的异常输出,只是在频繁的打印 ,由于无法登录服务器,所以无法打印服务的 信息,只是根据 的异常使用率,怀疑是与锁/GC 有关,只能根据现有的工具来排查问题。既然怀疑是与 锁 / GC 有关,那么先从GC 入手,调大 大小。然后观察服务情况。重启服务后,发现问题没有解决,依然是服务无法正常消费数据,然后服务CPU 使用率高。那么只可能是与锁有关原创 2022-06-28 11:15:12 · 1593 阅读 · 0 评论 -
【kafka】CDP集群 kafka-ranger-audit-spool 日志太大问题排查
最近发现 服务 的 审计目录假脱机日志过多,过大。这里整理并记录一下解决方案。 服务 日志过多。问题原因当为 启用 审计时,当写入 失败时,审计日志数据会在本地磁盘上假脱机。我们的 服务和 服务的相关配置如下:那么为什么写入 失败呢,通过查看上下文发现 ranger 没有写入 文件的权限。CDP 环境解决如下: -> ->如果环境不为 CDP 环境:实际上就是创建 服务对应的 目录,并对 目录赋予正确的权限,使得 能够正常写入数据到 即可。..............原创 2022-06-13 16:13:14 · 726 阅读 · 0 评论 -
Kafka面试题
1.Kafka的用途有哪些?使用场景如何?消息队列。都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能 存储系统。Kafka 把消息持久化到磁盘,相比于其他基于内存存储的系统而言,有效地降低了数据丢失的风险。 流式处理平台。Kafka 不仅为每个流行的流式处理框架提供了可靠的数据来源,还提供了一个完整的流式处理类库,比如窗口、连接、变换和聚合等各类操作2.Kafka中的ISR、AR、OSR又代表什么?ISR的伸缩又指什么?AR:分区中的所有副本统称ISR:(..转载 2021-03-02 10:02:24 · 494 阅读 · 0 评论 -
阅读《深入理解Kafka核心设计与实践原理》第七章 深入客户端
文章目录深入客户端1. 分区分配策略1.1 RangeAssignor分配策略1.2 RoundRobinAssignor分配策略1.3 StickyAssignor分配策略1.4 也可以进行自定义分配策略2. 消费者协调器和组协调器2.1 旧版消费者客户端存在的问题2.2 新版客户端再均衡原理深入客户端1. 分区分配策略设置消费者与订阅主题之间的分区分配策略。1.1 RangeAssignor分配策略RangeAssignor 分配策略的原理是**按照消费者总数和分区总数进行整除运算来获得一个跨原创 2021-01-17 15:13:39 · 122 阅读 · 0 评论 -
阅读《深入理解Kafka核心设计与实践原理》第六章 深入服务端
文章目录深入服务端1. 时间轮2. 控制器深入服务端1. 时间轮Kafka中存在大量的延时操作,比如延时生产、延时拉取和延时删而是基于时间轮的概念自定义实现了一个用于延时功能的定时器除等。为什么不用java自带的延时器?因为时间复杂度不能满足Kafka的要求,在Netty,Zookeeper,Akka都有时间轮的存在。时间轮介绍:https://zhuanlan.zhihu.com/p/121483218Kafka时间轮的底层就是一个环形数组,Kafka中一个时间轮TimingWheel是由原创 2021-01-16 19:51:40 · 196 阅读 · 1 评论 -
阅读《深入理解Kafka核心设计与实践原理》第五章 日志存储
文章目录日志存储1. 文件目录布局2. 日志索引3. 日志清理4. 磁盘存储4.1 页缓存4.2 零拷贝日志存储1. 文件目录布局Kafka中的消息是以主题为基本单位,各个主题在逻辑上相互独立。一个分区对应一个日志(Log),为了防止Log过大,Kafka有引入日志分段(LogSegment),将Log切分成多个LogSegment,有利于消息的维护和清理。向Log追加消息是顺序写入,只有最后一个LogSegment才能执行写入操作,在此之前的所有LogSegment都不能写入数据。为了便于原创 2021-01-13 15:53:55 · 131 阅读 · 0 评论 -
阅读《深入理解Kafka核心设计与实践原理》第四章 主题与分区
df原创 2021-01-13 13:30:32 · 110 阅读 · 0 评论 -
阅读《深入理解Kafka核心设计与实践原理》第三章 消费者
1. 消费者消费者Consumer负责订阅kafka中的主题。并从主题中拉取消息。每个消费者都有一个对应的消费组。两个消费组之间互不影响,每一个分区只能被一个消费组中的一个消费者所消费。我们可以增加(或减少)消费者的个数来提高(或降低)整体的消费能力,但是过多增加消费者个数并不能一致提高消费水平,消费者个数大于分区数,有的消费者不会分配到任何分区。消息投递的两种方式:点对点:所有的消费者都隶属于一个消费组发布/订阅模式:所有的消费者都属于不同的消费组消费组是一个逻辑概念,每一个消费者只隶属原创 2021-01-12 15:35:28 · 138 阅读 · 0 评论 -
阅读《深入理解Kafka核心设计与实践原理》第一、二章
1. 基本概念kafka系统架构如图:Kafka 架构分为以下几个部分Producer :消息生产者,就是向 kafka broker 发消息的客户端。Consumer :消息消费者,向 kafka broker 取消息的客户端。Topic :可以理解为一个队列,一个 Topic 又分为一个或多个分区。Consumer Group:这是 kafka 用来实现一个 topic 消息的广播(发给所有的 consumer)和单播(发给任意一个 consumer)的手段。一个 topic 可以有多个原创 2021-01-11 17:31:10 · 187 阅读 · 0 评论