![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka-free
文章平均质量分 94
流华追梦
15年+ IT从业经验,互联网高级算法工程师、Java语言专家、.Net专家、博客专家、阿里云专家、CSDN2023博客之星,CSDN付费资源项目实践专家,谢谢关注!
展开
-
(二)Kafka 安全之使用 SASL 进行身份验证 —— SASL/Kerberos 验证
接上一篇《(一)Kafka 安全之使用 SASL 进行身份验证 —— JAAS 配置、SASL 配置》,本文从第四节开始。原创 2024-06-25 07:30:00 · 895 阅读 · 0 评论 -
(一)Kafka 安全之使用 SASL 进行身份验证 —— JAAS 配置、SASL 配置
SASL 是用来认证 C/S 模式也就是服务器与客户端的一种认证机制,全称 Simple Authentication and Security Layer。这就是一种凭据认证方式。通俗的话来讲就是让服务器知道连接进来的客户端的身份是谁。比如凭借阅证到图书馆借书,而每个借阅证都有独立的 ID,通过 ID 定位谁是谁,而不是特别关心谁拿到了借阅证,只需要正确的借阅证即可。所以 SASL 就是服务器存储了客户端的身份证书和如何校验密码是否正确,而且仅在于身份认证过程,认证完毕后即可进行相关的服务操作。原创 2024-06-24 07:30:00 · 1006 阅读 · 0 评论 -
(三)Kafka 安全之使用 SSL 的加密和身份验证
接上一篇《(二)Kafka 安全之使用 SSL 的加密和身份验证》,本文从 2.4 小节开始。原创 2024-06-20 07:57:27 · 775 阅读 · 0 评论 -
(二)Kafka 安全之使用 SSL 的加密和身份验证
接上一篇《(一)Kafka 安全之使用 SSL 的加密和身份验证》,本文从 2.2 小节开始。原创 2024-06-19 07:12:57 · 870 阅读 · 0 评论 -
(一)Kafka 安全之使用 SSL 的加密和身份验证
SSL(Secure Sockets Layer)是一种网络协议,提供了一种在客户端和服务器之间建立安全连接的方法。启用 SSL 后,Kafka 集群中的所有数据传输,包括生产者、消费者与 Broker 之间的消息交互都会被加密,确保敏感信息在网络传输过程中不被窃听或篡改。原创 2024-06-18 07:30:00 · 1213 阅读 · 0 评论 -
Kafka 安全之概览和监听器配置
在配置 Kafka 监听器时,需要注意配置的一致性和正确性。确保 Kafka 集群和消费者端的监听器配置相匹配,避免因配置错误导致的连接问题和数据传输故障。通过正确配置 Kafka 的监听器类型、协议选择和安全性配置,可以实现消息传输和消费端访问的灵活和安全。根据应用需求和安全要求,选择合适的监听器配置,确保 Kafka 集群的可靠性和数据的安全性传输。原创 2024-06-15 10:54:54 · 885 阅读 · 0 评论 -
Kafka 操作之分层存储(Tiered Storage)
Kafka 分层存储通常是通过配置 Kafka 的日志保留策略来实现的,而不是直接通过代码来实现的。Kafka 支持基于时间和基于大小的日志保留策略。Kafka 数据主要是以流式方式使用尾部读取来消耗的。尾部读取利用操作系统的页面缓存来提供数据,而不是磁盘读取。较旧的数据通常是为了回填或故障恢复而从磁盘中读取的,而且这种情况并不常见。KIP-405在分层存储方法中,Kafka 集群配置有两层存储——本地和远程。本地层与当前的 Kafka 相同,后者使用 Kafka Broker 上的本地磁盘来存储日志段。原创 2024-06-14 07:30:00 · 731 阅读 · 0 评论 -
Kafka 之 KRaft —— ZooKeeper 到 KRaft 的迁移
Kafka 在 3.X 版本后内置了 KRaft 用来替代 ZooKeeper 管理集群,但是在升级的过程中发现,许多升级的文档都是只有新部署安装 KRaft 版本,而没有涉及到数据迁移相关的资料,这样如果直接变更的话,会导致 Kakfa 中的数据全部丢失,这在客户的生产环境中是不可接受的,所以本文把官网的迁移方案作了一下翻译。原创 2024-06-13 07:54:54 · 1166 阅读 · 0 评论 -
Kafka 之 KRaft —— 配置、存储工具、部署注意事项、缺失的特性
目前,Kafka 在使用的过程当中,会出现一些问题。由于重度依赖 Zookeeper 集群,当Zookeeper 集群性能发生抖动时,Kafka 的性能也会收到很大的影响。因此,在 Kafka 发展的过程当中,为了解决这个问题,提供 KRaft 模式,来取消 Kafka 对 Zookeeper 的依赖。原创 2024-06-12 07:30:00 · 924 阅读 · 0 评论 -
Kafka 之 ZooKeeper —— 稳定版本、弃用、操作
ZooKeeper 是一个分布式的协调服务,主要用于维护集群的元数据信息和配置信息。Kafka 集群依赖于 ZooKeeper 来存储和管理 Kafka 的元数据信息和配置信息。注:以上这些都低版本 Kafka 依赖 ZooKeeper 实现的,在高版本 Kafka 中,已经摆脱了对 ZooKeeper 的强依赖。原创 2024-06-07 07:30:00 · 1187 阅读 · 0 评论 -
(三)Kafka 监控之 Streams 监控(Streams Monitoring)和其他
接上一篇《(二)Kafka 监控之 Streams 监控(Streams Monitoring)》,本文从 2.7 小节开始。原创 2024-06-06 07:30:00 · 658 阅读 · 0 评论 -
(二)Kafka 监控之 Streams 监控(Streams Monitoring)
接上一篇《(一)Kafka 监控之 Streams 监控(Streams Monitoring)》,本文从 2.5 小节开始。原创 2024-06-05 08:35:52 · 580 阅读 · 0 评论 -
(一)Kafka 监控之 Streams 监控(Streams Monitoring)
Kafka Streams 提供了丰富的性能调优和监控工具,以确保应用程序在高负载下稳定运行。通过配置合适的参数和监控指标,可以优化应用程序的性能并提高整体吞吐量。详细的性能调优和监控策略将有助于应对不同规模和复杂度的流处理任务。原创 2024-06-04 07:30:00 · 726 阅读 · 0 评论 -
Kafka 监控之 Connect 监控
Kafka Connect 运行在自己的进程中,独立于 Kafka Broker。它是分布式的、可伸缩的、容错的,就像 Kafka 本身一样。使用 Kafka Connect 不需要编程,因为它只由 JSON 配置驱动。这使得它可以被广泛的用户使用。除了接收和输出数据,Kafka Connect 还可以在数据通过时执行轻量级的转换。原创 2024-06-03 07:30:00 · 952 阅读 · 0 评论 -
Kafka 监控之消费者监控
对于 Kafka 消费者来说,监控它们的消费进度非常的重要,或者说是监控它们消费的滞后程度。这个滞后程度有个专门的名称:消费者 Lag 或 Consumer Lag。所谓滞后程度,就是指消费者当前落后于生产者的程度。通常来说,Lag 的单位是消息数,而且我们一般是在 Topic 这个级别上讨论 Lag 的,但实际上,Kafka 监控 Lag 的层级是在分区上的。如果要计算 Topic 级别的,你需要手动汇总所有主题分区的 Lag,将它们累加起来,合并成最终的 Lag 值。原创 2024-05-30 07:30:00 · 944 阅读 · 0 评论 -
Kafka 监控之每个 Broker 的生产者、消费者、Connector、Streams 的共同指标和生产者监控
对于大数据集群来说,监控功能是非常必要的,通过日志判断故障低效,我们需要完整的指标来帮我们管理 Kafka 集群。本文将描述 Broker 的公共指标。原创 2024-05-27 07:30:00 · 982 阅读 · 0 评论 -
Kafka 监控之生产者、消费者、Connector、Streams 共同的监控指标
Kafka 流控制与监控指标对于确保 Kafka 集群的稳定性和性能至关重要。本文将详细阐述 Kafka 的流控制机制和监控指标,包括 Kafka 生产者、消费者、Connect 和 Streams 的性能指标等。通过了解这些概念并根据实际需求调整配置参数,您可以更好地管理 Kafka 集群并确保其高效运行。原创 2024-04-22 07:30:00 · 694 阅读 · 0 评论 -
Kafka 监控之分层存储监控和 KRaft 监控指标
和任何一个分布式系统一样,Kafka 的存储和网络使用情况也是我们需要关注和监控的指标,只有对存储和网络状态进行充分的监控才能及时发现问题并规避风险。原创 2024-04-19 07:30:00 · 1060 阅读 · 0 评论 -
Kafka 监控及使用 JMX 进行远程监控的安全注意事项
众所周知,Kafka 的集中式设计具有很强的耐用性和容错性。此外,由于 Kafka 是一个分布式系统,因此 Topic 在多个节点之间进行分区和复制。此外,Kafka 可以成为数据集成的极具吸引力的选择,具有有意义的性能监控和对问题的及时警报。基本上,当对 Kafka 问题进行故障排除时,应用程序管理器会向需要采取纠正措施的人收集所有性能指标和警报。原创 2024-04-18 07:30:00 · 1247 阅读 · 0 评论 -
Kafka 操作系统之文件系统选择
磁盘容量是一个值得讨论的话题,需要多大的磁盘容量取决于需要保留的消息数量。如果服务器每天会收到 1TB 消息,并且保留7天,那么就需要 7TB 的存储空间,而且还要为其他文件提供至少10%的额外空间。除此之外,还需要提供缓冲区,用于应付消息流量的增长和波动。在决定扩展 Kafka 集群规模时,存储容量是一个需要考虑的因素。通过让 Topic 拥有多个分区,集群的总流量可以被均衡到整个集群,而且如果单个 Broker 无法支撑全部容量,可以让其他Broker 提供可用的容量。原创 2024-04-17 07:30:00 · 989 阅读 · 0 评论 -
Kafka 应用程序 vs OS 刷新管理和 Linux 刷新行为
生产者客户端的性能直接受到服务端磁盘吞吐量的影响。生产者生成的消息必须被提交到服务器保存,大多数客户端在发送消息之后会一直等待,直到至少有一个服务器确认消息已经成功提交为止。也就是说,磁盘写入速度越快,生成消息的延迟就越低。在考虑硬盘类型对磁盘吞吐量的影响时,是选择传统的机械硬盘(HDD)还是固态硬盘(SSD),我们可以很容易地做出决定。固态硬盘的查找和访问速度都很快,提供了最好的性能。机械硬盘便宜,单块硬盘容量也更大。原创 2024-04-16 07:30:00 · 675 阅读 · 0 评论 -
Kafka 硬件和操作系统
Kafka 是 I/O 密集型而非计算密集型的框架,所以对 CPU 的需求是各个指标里最宽松的,消耗CPU 的点主要在于消息的压缩和解压缩。一个 Kafka Broker 节点往往要承载许多个 Topic Partition 并与许多个 Producer/Consumer 交互,所以并行度(核心/线程数)要比单核性能(频率)更重要。一般来讲单节点 8C/16T,主频 2GHz 以上(按 Broadwell 架构计)就可以满足小型生产环境,负载比较重的集群可以配到 12C/24T 甚至 16C/32T。原创 2024-04-15 07:30:00 · 937 阅读 · 0 评论 -
(十二)Java 之 数组
数组对于每一门编程语言来说都是重要的数据结构之一,当然不同语言对数组的实现及处理也不尽相同。Java 语言中提供的数组是用来存储固定大小的同类型元素。本文将为大家介绍 Java 数组的声明、创建和初始化,并给出其对应的代码。例如,你可以声明一个数组变量,如 numbers[100] 来代替直接声明 100 个独立变量 number0,number1,....,number99。原创 2024-03-19 07:30:00 · 1643 阅读 · 0 评论