Kafka&ZooKeeper&Minio
文章平均质量分 87
Kafka&&ZooKeeper
阿迪是否
这个作者很懒,什么都没留下…
展开
-
kafka查看数据_Kafka 数据积压情况查看
消息发送到LeaderA之后会更新LEO的值,Follower1和Fllower2也会实时拉取LeaderA中的消息来更新自己,HW就表示A、B、C三者同时达到的日志位移。也就是A、B、C三者中LEO最小的那个值。由于B、C拉取A消息之间延时问题,所有HW必然不会与Leader的LEO相等,即LEO>=HW。消息堆积量:消息中间件服务端中所留存的消息与消费掉的消息之间的差值即为消息堆积量也称之为消费滞后量。LogEndOffset :下一条将要被加入到日志的消息的位移。调整到某个时间之后得最早位移。原创 2023-02-17 16:54:52 · 368 阅读 · 0 评论 -
kafka修改对应topic的日志保存周期
某些时候,当几个topic生产者突发产生大量消息时,会造成磁盘空间紧张,这时,除了增加磁盘,另一个方法就是修改配置文件,将日志的保存时间修改小一点,但这两种方案,都必须停机和重启kafka,显然,这在生产集群上,是不能这么处理的。修改后,新的配置会在 log.retention.check.interval.ms 时间内被检查并应用到整个集群,该值在 kafka/config/server.properties 中配置,默认为 300 秒。原创 2022-11-17 13:42:13 · 1885 阅读 · 0 评论 -
Minio入门系列 MinIO Client使用详解
MinIOClient简称mc,是minio服务器的客户端,对ls,cat,cp,mirror,diff,find等UNIX命令提供了一种替代方案,它支持文件系统和兼容AmazonS3的云存储服务(AWSSignaturev2和v4)。ls列出文件和文件夹。mb创建一个存储桶或一个文件夹。cat显示文件和对象内容。pipe将一个STDIN重定向到一个对象或者文件或者STDOUT。share生成用于共享的URL。cp拷贝文件和对象。mirror给存储桶和文件夹做镜像。......原创 2022-07-26 11:54:19 · 994 阅读 · 0 评论 -
minio 参数
MinIO Client (mc)为ls,cat,cp,mirror,diff,find等UNIX命令提供了一种替代方案。它支持文件系统和兼容Amazon S3的云存储服务(AWS Signature v2和v4)。# 删除一个存储桶并递归删除里面所有的内容。# 在https://play.min.io上创建一个名叫"mybucket"的存储桶。# 列出所有https://play.min.io上的存储桶。watch 监视文件和对象的事件。rm 删除文件和对象。原创 2022-08-22 10:56:20 · 799 阅读 · 0 评论 -
分布式之ZooKeeper概述
tickTime这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每 个 tickTime 时间就会发送一个心跳。initLimit这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长 能忍受多少个心跳时间间隔数。...原创 2022-08-30 10:41:38 · 515 阅读 · 0 评论 -
Kafka原理总结
Kafka是一个开源的分布式流式处理平台,在这个平台上可以发布、订阅以及处理数据流,具有强大的吞吐能力,让Kafka成为了一个高性能的发布与订阅消息系统。原创 2022-08-29 17:54:40 · 103 阅读 · 0 评论 -
集群级Kafka数据消费的挑战与实践
集群级Kafka数据消费有着不少挑战,如topic数量可能极多、集群变动可能非常频繁、数据流量可能极大,而常使用的消费组模式并不适合这种场景。本文结合线上实践,介绍了如何通过手动分配订阅信息的方式来规避消费组消费面临的不足,以及结合异常告警来达到故障的快速发现和人工恢复。在topic数量较少、订阅变更不频繁、数据流量一般的情况下,采用消费组进行数据拉取是合适的。但对于集群级数据消费,更高效的方式可能是自己管理订阅信息的分配以及offset信息的保存。...原创 2022-08-29 17:53:27 · 737 阅读 · 0 评论 -
kafka运维命令大全
相关可选参数支持正则表达式匹配Topic来进行删除,只需要将topic 用双引号包裹起来 例如: 删除以为开头的topic;删除任意Topic (慎用)zk方式(不推荐)kafka版本 >= 2.2 支持下面方式(推荐)单个Topic扩容批量扩容 (将所有正则表达式匹配到的Topic分区扩容到4个) 正则表达式的意思是匹配所有; 您可按需匹配PS: 当某个Topic的分区少于指定的分区数时候,他会抛出异常;但是不会影响其他Topic正常进行;相关可选参数 | 参数 |描述 |例子| |--|--|--| |原创 2022-07-06 21:24:54 · 353 阅读 · 0 评论 -
全网最通俗易懂的Kafka图解新建Topic,写入消息的原理
发布于2022-04-25 09:28:37阅读 580回顾一下kafka相关的概念:正在上传…重新上传取消Kafka Broker新建Topic的大致流程正在上传…重新上传取消Kafka的Broker删除Topic的大致流程Kafka的Producer写入过程原创 2022-07-06 20:54:00 · 654 阅读 · 0 评论 -
Kafka常用命令之kafka-console-producer.sh
kafka-console-producer.sh 脚本通过调用 kafka.tools.ConsoleProducer 类加载命令行参数的方式,在控制台生产消息的脚本。 默认情况下,所生产的消息是没有 key 的,命令如下: 1 执行上述命令后,就会在控制台等待键入消息体,直接输入消息值(value)即可,每行(以换行符分隔)表示一条消息,如下所示。 1 2 正常情况,每次回车表示触发“发送”操作,回车后可直接使用“Ctrl + c”退出生产者控制台,再使用 kafka-co原创 2022-07-06 20:51:00 · 870 阅读 · 0 评论 -
细说 Kafka Partition 分区
Partition(分区)是 Kafka 的核心角色,对于 Kafka 的存储结构、消息的生产消费方式都至关重要。掌握好 Partition 就可以更快的理解 Kafka。本文会讲解 Partition 的概念、结构,以及行为方式。在深入 Partition 之前,我们先看几个更高层次的概念,以及它们与 Partition 的联系。Event(事件)代表过去发生的一个事实。简单理解就是一条消息、一条记录。Event 是不可变的,但是很活跃,经常从一个地方流向另一个地方。Stream 事件流表示运动中的相关事原创 2022-07-06 20:36:16 · 475 阅读 · 0 评论 -
Kafka
一、调整topic 的存储大小计算原创 2022-07-05 19:50:58 · 1336 阅读 · 0 评论 -
Kafka无法对外暴露端口的相关解决方案
背景:客户的kafka组件部署时没有对外暴露端口,导致客户不能通过Kafka消费数据。解决办法1.检查是否kafka对外有端口露出[root@k8s-master-01 ~]# kubectl get svc -A | grep kafkadefault kafka NodePort 10.107.226.247 9092:30092...原创 2022-07-05 19:40:41 · 960 阅读 · 0 评论