Kafka 集群的硬盘一共多大？日志保存多久？用什么监控 的？

最新推荐文章于 2023-03-08 22:40:00 发布
最新推荐文章于 2023-03-08 22:40:00 发布
阅读量468 收藏
点赞数
分类专栏： kafka 大数据 文章标签： kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44124306/article/details/110947269
版权

集群硬盘大小：数据量线上项目每天/70%*日志保存天数；
日志保存天数：7 天
监控 kafka 方式：
1：有些研发能力比较强的公司自己开发 kafka 监控；或者有些采用 cdh 配套的监控器
2：采用第三方开源监控器：Kafka Manager、KafkaOffsetMonitor、Kafka Web
Conslole

盼望成长
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【项目实战】如何通过总的用户数据计算单台kafka所需磁盘容量？
本本本添哥
01-04 289
项目中需要用到Kafka来承接车机上来的接口数据，然后再转存到数据库，客户反馈，需要对生产环境中的Kafka的存储容量进行评估。以下是具体的算法内容
kafka是存储到本地磁盘么_Kafka存储（为什么Kafka使用磁盘作为存储介质？）
weixin_33046983的博客
01-27 201
一、存储结构概述image每一个partion(文件夹)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件里。但每一个段segment file消息数量不一定相等，这样的特性方便old segment file高速被删除。(默认情况下每一个文件大小为1G)每一个partiton仅仅须要支持顺序读写即可了。segment文件生命周期由服务端配置參数决定。1.partiton中se...
Kafka的硬盘大小、监控器、分区确定
ITBOY_ITBOX博客
06-14 574
Kafka的硬盘大小 每天的数据量100g * 2个副本 * 3天 / 70% 开源的监控器：KafkaManager、KafkaMonitor、KafkaEagle 分区确定 如：producer吞吐量=20m/s；consumer吞吐量=50m/s，期望吞吐量100m/s； 分区数=100 / 20 = 5分区 https://blog.csdn.net/weixin_42641909/article/details/89294698 分区数一般设置为：3-10个 ...
07-kafka硬盘大小
huaxing_ba的博客
05-28 307
题目：kafka硬盘大小 答案： kafka底层是顺序写，固态硬盘和机械硬盘的顺序写速度差不多，但是机械硬盘便宜些，建议选择普通的机械硬盘 每天总数据量：1亿条1k≈100g 100g副本2*保存时间3天/0.7≈1T 建议三台服务器硬盘总大小，大于等于1T ...
Kafka选型 操作系统、磁盘、磁盘容量、宽带
jj89929665的博客
03-16 2782
Kafka选型 操作系统、磁盘、磁盘容量、宽带1.操作系统选型I/O 模型的使用数据网络传输效率社区支持度2.磁盘选型3.磁盘容量大小4.宽带大小 1.操作系统选型 I/O 模型的使用     阻塞式 I/O、非阻塞式 I/O、I/O 多路复用、信号驱动     I/O 和异步 I/O。每种 I/O 模型都有各自典型的使用场景，比如 Java 中 Socket 对象的阻 塞模式和非阻塞模式就对应于前两种模型；而 Linux 中的
大数据处理工具Kafka的使用文档概述
05-19
Kafka 最初由 LinkedIn 创建，后成为 Apache 开源项目，广泛应用于日志收集、消息服务等多个场景。 Kafka 的核心组件包括以下几个方面： 1. **主题（Topic）**：主题是 Kafka 中消息的分类，类似于数据库的表。...
kafka集群部署说明-wubin-200720.doc
07-20
【Kafka集群部署详解】 Kafka是一个开源的消息中间件，由Apache软件基金会开发，它能够高效地处理大量的实时数据流。在大规模分布式系统中，Kafka通常被用于构建实时数据管道和流应用。以下是Kafka集群部署的详细...
kafka-2.13-3.4.0.tgz
02-10
Kafka 2.13-3.4.0版本包含Kafka Streams库，它是一个轻量级的流处理库，可以直接在Kafka集群上运行，用于构建实时数据处理应用。 8. **Kafka Connect**： Kafka Connect提供了一种标准接口，用于集成其他系统，如...
【Kafka】Kafka简单总结
01-06
3.Kafka的日志保存时间 默认保存7天 4.Kafka的硬盘大小 每天的数据量 * 7天 /70% 5.Kafka监控器 开源的监控器：KafkaManager、KafkaMonitor、kafkaeagle 6.Kafka的分区数 分区数并不是越多越好，一般分区数不要超过...
kafka-2.12-2.8.2
最新发布
06-14
4. 分布式设计：Kafka集群支持跨多个服务器部署，能自动处理节点故障。 5. 时间窗口：支持基于时间的窗口操作，适用于实时数据处理。 二、Kafka_2.12-2.8.2安装与配置 1. 下载：可以从官方网站或者其他镜像站点...
Kafka集群规划
记录点点滴滴
03-08 188
生产环境的 Kafka 集群 , 要结合业务而制定操作系统、磁盘、带宽。
[kafka]三.生产环境|压测|分区数|副本数|节点数|topic数|数据量计算|硬盘大小|日志保存时间|kafka监控
胖胖的博客
10-31 838
kafka官方自带压力测试脚本:kafka-consumer-pref-test.sh kafka-preducer-pref-test.sh。假如Producer的吞吐量=20m/s，Consumer的吞吐量=50m/s。kafka的机器数量（经验公式）=2*（峰值速度m/s*副本数/100）+1。比如压力测试写入（生产）速度为10m/s每台，峰值为50m/s，副本数为2。每天的数据量100G*2个副本*3天/70%=600G/0.7=900G。kafka节点数量=2*（50*2/100）+1=3台。
Kafka知识点大汇总
qq_43523503的博客
04-04 1896
1 Kafka中的一些数量 1.1 Kafka的个数 Kafka的个数一般是3-5个 计算公式为：（生产者生产速率×副本个数/100）×2 + 1 1.2 Kafka分区的个数 Kafka的分区的个数一般是3-10个 计算公式为：期望峰值速率/min（生产速率，消费速率） 1.3 Kafka的副本个数 kafka的副本一般设置为3个，很多企业大都设置为2个 副本的个数越多可靠性越高，但是副本越多增加了网络IO传输压力 1.4 Kafka日志保存的时间 Kafka日志默认保存的时间是7天 实际生产环境下一般保
生产中kafka集群需要规划多大的存储空间
weixin_43525585的博客
04-09 3942
生产中kafka集群需要规划多大的存储空间 说明：kafka会把消息保存到磁盘中，这些消息默认保存一段时间之后就会被自动删除，多久删除是通过配置文件自己配置规划的。 一、需要考虑一下几点问题： 1：增量消息 2：消息的留存时间 3：消息副本数 4：平均每条消息的大小 5：是否使用消息压缩 二、举例计算一下 假如每天5亿条 1KB大小的消息，副本数是3个，保存一周的时间，那么总的空间大小就是：5亿...
kafka key的作用_Kafka 日志存储详解
weixin_39747630的博客
12-03 732
点击上方“Java知音”，选择“置顶公众号”技术文章第一时间送达！作者：爱宝贝丶my.oschina.net/zhangxufeng/blog/3114166本文主要介绍kafka中日志的存储原理，主要内容包括kafka日志存储格式、日志文件的管理方式、日志索引文件的格式和日志压缩等功能。作为一款消息系统，日志就是将消息持久化到磁盘上的数据，这份数据的存储方式将会极大的影响其吞吐量和扩展...
为什么说Kafka使用磁盘比内存快
weixin_33709590的博客
01-25 722
学习过[跟我学Kafka源码之LogManager分析]的同学一定会问为什么Kafka大量使用了磁盘作为传统意义的缓存。 其实Kafka最核心的思想是使用磁盘，而不是使用内存，可能所有人都会认为，内存的速度一定比磁盘快，我也不例外。在看了Kafka的设计思想，查阅了相应资料再加上自己的测试后，发现磁盘的顺序读...
Kafka监控之Kafka Monitor
ITBOY_ITBOX博客
05-16 2231
1.上传jar包KafkaOffsetMonitor-assembly-0.4.6.jar到集群 2.在/opt/module/下创建kafka-offset-console文件夹 3.将上传的jar包放入刚创建的目录下 4.在/opt/module/kafka-offset-console目录下创建启动脚本start.sh，内容如下： #!/bin/bash java -cp Kaf...
kafka配置参数
06-13 1002
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。本文列出了一些重要的配置参数。 官方的文档Configuration比较老了，很多参数有所变动， 有些名字也有所改变。我在整理的过程中根据0.8.2的代码也做了修正。 Boker配置参数 下表列出了Boker的重要的配置参数， 更多的...
kafka硬盘读取效率接近内存？？？
05-20
Kafka是一个高吞吐量的分布式消息队列系统，它可以在多个节点之间分配数据并支持数据的持久化存储。在Kafka的设计中，硬盘是主要的存储介质，而内存则主要用于缓存和索引。因此，Kafka的读取效率确实可以接近内存，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值