kafka主题总消息大小和每条消息大小的计算方式

最新推荐文章于 2024-07-08 20:34:16 发布
最新推荐文章于 2024-07-08 20:34:16 发布
阅读量2.7k 收藏
点赞数
分类专栏： 解决方案 入门案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39002724/article/details/114577404
版权

1.总消息大小

假设主题名为monitor_data_to_hbase，共3个分区，分别分布在3个brokers上，都只有1个副本。
monitor_data_to_hbase_0分区分布在broker1，
monitor_data_to_hbase_1分区分布在broker2，
monitor_data_to_hbase_2分区分布在broker3。

进入monitor_data_to_hbase_0目录，执行

du -shc *.log

可以看到输出的总大小为
在这里插入图片描述
依次类推，再分别计算1、2号分区的大小，最后相加。

2.平均每条消息大小

1.安装KafkaManager

具体安装方式请参照其他博文

安装并配置好后，进入如下界面，查看总offset
在这里插入图片描述

2.计算平均大小

平均大小=总消息大小/总offset

cyh男
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka 实现之消息及消息格式
流华追梦的专栏
03-21 1439
Kafka 的消息格式是由消息的键和值组成的。每条消息都有一个可选的键和一个必选的值，它们都是字节数组。键和值可以是任意类型的数据，但在发送和接收消息时，它们需要被序列化为字节数组。在 Kafka 中，消息是以字节数组的形式进行传输和存储的。这种灵活的格式使得 Kafka 非常适合处理各种类型的数据，包括结构化数据、文本数据、二进制数据等。Kafka 的消息格式并不限制消息的内容，开发人员可以自由定义消息的格式和结构。这种灵活性使得 Kafka 可以适应各种不同的应用场景和数据类型。
浅议Kafka中消息大小的设置
HuailiShang的博客
06-29 1034
如果消息体过大，则一般调整max.request.size和max.message.bytes即可，batch.size则保持默认即可
kafka消息可视化查看工具
04-11
1.可用于查看kafka内的消息数据，消息的偏移量，消费分组数等信息。 2.主要用于开发调试，勿过于依赖辅助工具，命令使用才是根本。
IT技术分享--kafka消息大小设置
最新发布
lin_hp的博客
07-08 560
kafka消息大小默认为1M，当需要调整消息大小时，可通过以下方式配置，亲测有效。
Kafka单条日志传输大小探究
mischen520的博客
09-11 2788
Kafka对于消息体的大小默认为单条最大值是1M但是在我们应用场景中，常常会出现一条消息大于1M，如果不对Kafka进行配置。则会出现生产者无法将消息推送到Kafka或消费者无法去消费Kafka里面的数据，这时我们就要对Kafka进行以下配置：server.properties replica.fetch.max.bytes: 1048576 broker可复制的消息的最大字节数, 默认为1M message.max.bytes: 1000012 kafka 会接收单个消息size的最大限制， 默认为
Kafka处理的消息大小与堆外内存
卧龙居
10-12 2244
如果说，Kafka处理的消息大小，与它所用的堆外内存，会存在一定程度的关系。你一定会觉得非常奇怪。毕竟，阅读kafka处理消息的源码时，只看到了它申请了堆内存，并未发现有申请堆外内存。如果在jvm参数里，将maxDirectMemory的大小限制为100M。那么，我们写一个简化版的kafka broker 9092消息处理程序来进行一下实验。真是奇怪， 代码里并未直接申请堆外内存，怎么会在实验中发现堆外内存的增长呢？
彻底搞懂 Kafka 消息大小相关参数设置的规则
后端进阶
05-21 1万+
前段时间接到用户要求，调整某个主题在 Kafka 集群消息大小为 4M。 根据 Kafka 消息大小规则设定，生产端自行将 max.request.size 调整为 4M 大小，Kafka 集群为该主题设置主题级别参数 max.message.bytes 的大小为 4M。 以上是针对 Kafka 2.2.x 版本的设置，需要注意的是，在某些旧版本当中，还需要调整相关关联参数，比如 replica.fetch.max.bytes 等。 从上面例子可看出，Kafka 消息大小的设置还是挺复杂的一件事，而且还分版
kafka查看消费了多少条数据
热门推荐
快乐的瑾
10-20 6万+
storm jar接收程序，如果指定了forceFromStart=false,则从最新的数据开始读，最新是指多长时间的，有具体的参数设置 如果指定了为true，则从最老的数据开始消费。 如何查看目前的消费者是否已经读到最新的数据： kafka-run-class.sh kafka.tools.ConsumerOffsetChecker #kafka查看topic各个分区的
Kafka主题消息的发送和消费-Java方式(基础版)
找啊找啊找bug的博客
10-19 280
1.导入需要的MAVEN <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.6.0</version
Kafka集群多用户访问权限分治和消息共享配置指导
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
04-24 2842
这明显在生产环境，这种认证方式时不符合实际业务场景的。allow.everyone.if.no.acl.found=true #false的话就只能超级用户才能访问资源，true的话其他也可以，如果用户读写一个 Topic，但是没有配置 ACL 权限，客户端会报认证失败错误。现场业务由于多厂商集成，共享数据需要，需对接当前kafka集群，为做到类似租户隔离的功能，需要开启kafka的权限控制和动态用户管理功能，实现不同厂商访问被授权的合法资源，消费者账号只能消费数据，生产者账号只能生产数据。
Kafka 消息存储与销毁机制
光剑书架上的书
05-27 470
在现代分布式系统中，消息队列作为一种重要的中间件，广泛应用于数据传输、异步处理、负载均衡等场景。Apache Kafka 作为一种高吞吐量、低延迟的分布式消息系统，因其强大的性能和可靠性，成为了业界的首选。Kafka 的消息存储与销毁机制是其核心功能之一，本文将深入探讨 Kafka 的消息存储与销毁机制，帮助读者更好地理解和使用 Kafka。Kafka 是一个分布式流处理平台，最初由 LinkedIn 开发，并于 2011 年开源。高吞吐量：Kafka 能够处理大量的消息，适用于大数据实时处理场景。
消息队列之Kafka详解
廷赫斯的博客
03-13 523
消息队列之Kafka详解1 什么是Kafka3. 基本概念4. 分区存储4.1. 分区存储数据4.2. Kafka清理过期数据有哪些方法5. Kafka安全机制5.1. 了解Kafka安全机制5.2. 配置ACL5.3. Kafka启用ACL模式6. Kafka连接器6.1. 了解连接器使用场景6.2. 特性和优势6.3. 操作Kafka连接器6.4. 开发一个简易Kafka连接器插件7. Kafka监控系统 --- Kafka Eagle7.1. Kafka Eagle 简介7.2. Kafka Eagl
5.3确认消息大小
WANGCHUNHE55的博客
03-10 77
确认消息大小
Kafka分区分配计算(分区器Partitions)
rede
04-14 4317
原 Kafka分区分配计算(分区器Partitions)https://blog.csdn.net/u013256816/article/details/78703111版权声明：本文为博主原创文章，未经博主朱小厮允许不得转载。 https://blog.csdn.net/u013256816/article/details/78703111 欢迎支持笔者新作：《深入理解Kafka:核心设计与实践...
【Kafka】kafka Java api 获取 kafka topic 或者 partition 占用的磁盘大小
九师兄
09-17 2393
1.概述 kafka Java api 获取 kafka topic 或者 partition 占用的磁盘大小 package com.dtwave.kafka.storage; import org.apache.kafka.clients.admin.AdminClient; import org.apache.kafka.clients.admin.AdminClientConfig; import org.apache.kafka.clients.admin.DescribeLogDirsR.
kafka进程启动后又挂掉_Kafka相关面试题知识点总结
weixin_39570838的博客
11-26 347
1 Kafka架构生产者、Broker、消费者、ZK；注意：Zookeeper中保存Broker id和消费者offsets等信息，但是没有生产者信息。2 Kafka的机器数量Kafka机器数量=2*(峰值生产速度*副本数/100)+ 13 副本数设定一般我们设置成2个或3个，很多企业设置为2个。副本的优势：提高可靠性；副本劣势：增加了网络IO传输4 Kafka压测Kafka官方自带压力测试脚本(...
06-kafka数据量计算
huaxing_ba的博客
05-28 764
题目：kafka数据量计算 答案： 100万日活，每人每天100条日志，每天总共的日志条数是100万100条=1亿条 1亿/24小时/60分/60秒=1150条/每秒钟 每条日志大小：0.5k-2k（取1k） 1150条/每秒钟1k≈1m/s 高峰期每秒钟：1150条*20倍=23000条 每秒多少数据量：20m/s ...
kafka压力测试以及机器数量计算公式
weixin_44769733的博客
12-15 1273
一:压力测试 1.自带测试脚本路径 在kafka安装目录的bin目录下 /export/servers/kafka_2.11-0.10.0.0/bin 2.生产能力测试命令 bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput 1000 --prod...
源码阅读-LogSegment
大数据进阶之路
11-12 1087
Kafka源码阅读-LogSegment 日志段代码解析地址位于core工程下的/scala/log/LogSegment.scala。 该文件中定义了以下三个scala对象： 1. LogSegment类定义 log：消息的日志文件 lazyOffsetIndex：偏移量索引文件 lazyTimeIndex：时间戳索引文件 txnIndex：事务索引文件 baseOffset：每个日志文件的其实偏移量baseOffset，磁盘中存储文件的命名采用的就是baseOffset indexInterval
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值