02-kafka机器数量

最新推荐文章于 2024-04-18 09:57:08 发布
最新推荐文章于 2024-04-18 09:57:08 发布
阅读量196 收藏
点赞数
分类专栏： kafka面经复习 文章标签： kafka 分布式 zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huaxing_ba/article/details/124987630
版权

题目：计算kafka机器数量

计算kafka机器数量

答案：

kafka机器数量=2*（峰值生产速度*副本数/100）+1

1.峰值生产速度
可以通过压测得到

2.副本数
副本数默认是1个，在企业里面2-3个都有，2个居多。
副本多可以提高可靠性，但是会降低网络传输效率。
比如我们的峰值生产速度是50m/s，副本数为2
kafka机器数量=2*（50*2/100）+1=3台

大数据捌圆
关注
专栏目录
滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台
DiDi_Tech的博客
01-14 6626
桔妹导读： LogI-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验，是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管...
Kafka--Kafka日志索引详解以及生产常见问题分析与总结
weixin_43874650的博客
12-20 1959
​ Kafka的设计重点是在网络不稳定，服务也不稳定的复杂分布式环境下，如何保持高性能，高可用，高可扩展的三高架构。在这方面，Kafka的设计是很复杂也很完善的，是业内公认的老大哥。因此网上的解读文章也是最多的。但是这些解读的文章如果没有一条主线串起来，那永远都只是一些零散的，过目既忘的东西。​ 在这几期的课程中，一直在尝试以可见的方式去深入理解Kafka的各种主要设计思想。内容非常多，节奏也非常紧凑，但是梳理出了客户端、Zookeeper数据、Log日志三条可以看得见的数据主线。
Kafka集群搭建（3台机）
05-25
网上Kafka集群搭建的教程很多了，但真正能用的不多，本文提供了详细的步骤说明，绝对可用
Kafka机器数量计算
想练武，就得下功夫
03-16 816
Kafka机器数量 （经验公式）= 2 *（峰值生产速度 * 副本数 / 100）+ 1 先拿到峰值生产速度，再根据设定的副本数，就能预估出需要部署Kafka的数量。 1）峰值生产速度 峰值生产速度可以压测得到。 用Kafka官方自带的脚本，对Kafka进行压测。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh Kafka压测时，在硬盘读写速度一定的情况下，可以查看到哪些地方出现了瓶颈（CPU，内存，网络IO）。 一般都是网络IO达到瓶颈。
项目经验之Kafka压力测试以及kafka机器数量计算
weixin_45751589的博客
12-10 514
Kafka压测 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 2）Kafka Producer压力测试 （1）在/opt/module/kafka/bin目录下面有这两个文...
kafka_机器数量计算
weixin_42861725的博客
03-24 549
记一个kafka机器数量的经验公式 : Kafka机器数量 =2*（峰值生产速度*副本数/100）+1 先拿到峰值生产速度，再根据设定的副本数，就能预估出需要部署Kafka的数量。 举个例子: 我们的峰值生产速度是50M/s。副本数为2。 Kafka机器数量=2*（50*2/100）+ 1=3台 ...
滴滴Logi-KafkaManager 一站式Kafka监控与管控平台
javadada1197的博客
08-03 714
滴滴内部统一使用 kafka 作为大数据的数据通道，当前滴滴共有几十个 kafka 集群，450+ 的节点，20k+ 的 kafka topic，每天2w亿+的消息量；每周500+UV用户，需要完成 topic 创建、申请、指标查看等操作；每天运维人员还有大量集群、topic运维操作。因此我们需要构建一个Kafka的管控平台来承载这些需求。 在平台建设的初期，我们调研了社区同类产品的使用情况，在调...
运维人员如何利用Logi-KafkaManager了解、管控Kafka集群
didi_cloud的博客
06-03 345
前面的文章中，我们简单介绍了如何接入集群，以及Topic的申请和配额申请。这个时候，我们还不是很了解Logi-KafkaManager究竟有哪些优点，还有如何去管理如此众多的kafka集群。 那么今天这篇文章，就让我们来详细了解一下——运维人员是如何去了解和管控我们所有的集群的。 A.运维管控 运维管控这个菜单栏目下面主要是供运维人员来管理所有集群的。 B.接入集群 如何接入集群请看往期内容CSDN好文分享 | Kafka的灵魂伴侣滴滴Logi-KafkaManage...
【spring-kafka】@KafkaListener详解与使用
最新发布
2401_84048554的博客
04-18 624
当然在这还有更多整理总结的Java进阶学习笔记和面试题未展示，其中囊括了。
Kafka系列 - 06 Kafka 集群环境搭建（三台服务器）
你今天真好看呀
11-27 2530
hadoop-101 虚拟机的 IPADDR 的地址改为：192.168.38.23；hadoop-103 虚拟机的 hostname 的地址改为：hadoop103；kafka集群搭建，需要3台虚拟机环境，但是我目前只安装了一台虚拟机，因此还需要准备两台虚拟机环境，正常情况下应该再安装2台虚拟机，这里为了方便直接克隆出3台虚拟机。② 配置 broker.id，这是Kafka在整个集群当中的唯一身份标识，每个节点不能重复。④ 启动集群：启动集群就是分别启动每个实例，启动后我们查询一下每个实例的运行状态。
日活量百万数据，Kafka硬件如何配置
花&败
04-11 2474
生产者调优、硬件选择 假设：100万日活，每人每天 100 条日志，每天总共的日志条数是 100 万 * 100 条 = 1 亿条 处理速度=1亿/(24*3600s)=1150条/s 一条日志按1k计算，1150 条/每秒钟 * 1k ≈ 1m/s 。 高峰期每秒钟：1150 条 * 20 倍 = 23000 条。数据量：20MB/s 服务器台数选择： 服务器台数= 2 * (生产者峰值生产速率 * 副本 / 100)+ 1 = 2 * （20m/s * 2 / 100） + 1 = 3 台
Kafka经验之集群机器数与分区数计算
weixin_42796403的博客
12-10 1663
一、 项目经验之Kafka机器数量计算 Kafka机器数量（经验公式）=2*（峰值生产速度*副本数/100）+1 先拿到峰值生产速度，再根据设定的副本数，就能预估出需要部署Kafka的数量。 比如我们的峰值生产速度是50M/s。副本数为2。 Kafka机器数量=2*（50*2/100）+ 1=3台 二、项目经验值Kafka分区数计算 创建一个只有1个分区的topic 测试这个topic的producer吞吐量和consumer吞吐量。 假设他们的值分别是Tp和Tc，单位可以是MB/s。 然后假设总的
kafka集群环境部署fabric准备工作
热门推荐
weixin_44573310的博客
03-15 1万+
kafka集群部署fabric 闲话：这一步先做一些准备工作，因为集群部署涉及很多东西，这里把基础打好，然后可以运行集群。 当时没有虚拟机，使用现实的物理机，没有太多资金来构建一个集群。所以当时分析需要4台服务器打基础，一台作为peer节点，此外还有一台是作为新节点来测试动态加入的。请注意这是最低要求，一般来讲一个正式的kafka集群需要8台服务器，其中包含： 三个order节点 三个zookeeper节点 四个kafka节点 两个组织，其中每个组织有两个peer节点 整体大致架构如下： 第一步
Kafka的生产集群部署
zjjcchina的博客
01-17 381
方案背景 假设每天集群需要承载10亿数据。一天24小时，晚上12点到凌晨8点几乎没多少数据。 使用二八法则估计，也就是80%的数据（8亿）会在16个小时涌入，而且8亿的80%的数据（6.4亿）会在这16个小时的20%时间（3小时）涌入。 QPS计算公式：640000000 ÷ (3x60x60) = 60000，也就是说高峰期的时候Kafka集群要扛住每秒6万的并发。 磁盘空间计算，每天10亿数据，每条50kb，也就是46T的数据。保存2个副本（在上一篇中也提到过其实两个副本会比较好，因为follo
kafka压力测试以及机器数量计算公式
weixin_44769733的博客
12-15 1275
一:压力测试 1.自带测试脚本路径 在kafka安装目录的bin目录下 /export/servers/kafka_2.11-0.10.0.0/bin 2.生产能力测试命令 bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput 1000 --prod...
logstash kafka多台机器取数据，只有一个实例消费【logstash2.3.4】
格物致知
10-31 5133
描述：首先kafka的partition数量为6，多台logstash服务机器的topic相同并且groupId也相同。当分别启动机器时，只有一台机器在消费kafka数据，并且总是最后启动的那台在消费。修改了zk时间等各种kafka配置均没有效果，最后不得不看ruby源码了。感觉kakfa的代码写的还是有点问题的。首先介绍logstash的input-kafka模块的代码结构kafka.rb --
如何为Kafka集群选择合适的Topic/Partitions数量
极客神殿
07-24 4687
这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。 越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实：在kafka中，单个patition是kafka并行操作的最小单元。在producer和broker端，向每一个分区写入数据是可以完全并行化的，此时，可以通过加大硬件资源的利用率来提升系统的吞吐量，例如对数据进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值