kafka
文章平均质量分 68
kafka
宇神城主_蒋浩宇
到达这里就是 全世界最棒的人,这里有互联网软件行业一切知识_技术专家蒋浩宇 软件行业技术专家 多年互联网技术软件行业从业经验,对系统开发、项目管理有50多个,蒋浩宇各类型互联网项目经验、互联网、区块连大数据、数据仓库、海量数据分布式集群、高并发服务转业人员,蒋浩宇1年技术经理3年cto2年项目经理经验,有什么技术行业想了解的都可以沟通了解
展开
-
项目Es、kafka、mysql容量评估方案和服务器资源预估方案
正确的思想更具大厂经验建议(空间换技术)也就是机器多换技术简单(别把技术玩的太极限,亏钱的时候剩下那点就是九牛一毛,所以建议靠谱技术加横向扩展机器为最稳定方案)实际空间 = 源数据 × (1 + 副本数量) × (1 + 数据膨胀) / (1 - 内部任务开销) / (1 - 操作系统预留)存储容量 = 源数据 × (1 + 副本数量) × 1.45 × (1 + 预留空间)按照 12000 tps * 60s * 60m *24h = 日。按照 60 tps * 60s * 60m *24h = 日。原创 2023-06-14 18:01:24 · 2350 阅读 · 0 评论 -
kafka 七 应用场景 、消费模型、关键能力、基准测试
多少条数据,多少数据量Mb。临时存储使用,快速处理。原创 2023-06-09 17:28:32 · 145 阅读 · 0 评论 -
kafka 六 java clients spring kafka 生产消息 消费消息
【代码】kafka 六 java 生产消息 消费消息。原创 2023-06-09 17:12:22 · 176 阅读 · 0 评论 -
kafka 五 消息不丢失机制、 Broker数据不丢失 、生产者数据不丢失、消费者数据不丢失、消息丢失流程、重复消费数据库事务保证成功(数据不丢失,解决重复消息,保证执行一次)、数据积压、定期清理
启用删除主题true检查日志段文件的间隔时间,以确定是否文件属性是否到达删除要求。1000ok持续更新。原创 2023-06-09 17:09:41 · 284 阅读 · 1 评论 -
kafka 四 Kafka读写流程、LEO log end offset、物理存储 稠密索引 稀疏索引 、Kafka物理存储、深入了解读数据流程、删除消息
段包含 index log timeindex snapshot。原创 2023-06-09 15:36:00 · 1291 阅读 · 0 评论 -
kafka Ar 、ISR 、 OSR 已分配副本 同步中副本 、不同步副本 Controller 执行leader 重新分配
目录Ar 、ISR 、 OSR 已分配副本 同步中副本 、不同步副本Controller执行leader 重新分配如果有一个节点挂掉,分区领导会渠道其他地方当上领导 保持分区总数到位应为数据量大要保证性能所以尽快选举领导 如此设计副本作为及时选举当上领导实现高性能举个例子 0、1、2 节点 三个 副本 0挂掉 0的领导会在 1 or 2 上马上出现领导,实现保证分区全在每个桶中有一个 controller 执行api原创 2023-06-09 11:21:26 · 831 阅读 · 0 评论 -
kafka 二 集群架构 幂等性 生产者写入分区策略、消费者组再均衡消费者规则、副本机制、低级 api、高级 api、Kafka-eagl监控工具、分区的leader 与follower
【kafka可视化工具】kafka-eagle在windows环境的下载、安装、启动与访问_kafka eagle下载_No8g攻城狮的博客-CSDN博客。如果ack响应失败,生产者重试,再次发送消息,kafka会根据pid和 sequence number 是否保存同一条消息。0、1、2 节点 三个 副本 0挂掉 0的领导会在 1 or 2 上马上出现领导,实现保证分区全在。生产者 发送到分区,kafka 保存到分区,返回一个ack ,若果失败,生产者会重新发送。原创 2023-06-09 11:05:48 · 218 阅读 · 0 评论 -
windows kafka mq 安装和使用介绍 及踩坑记录 及集群架构kafka实现架构 各自运行机制 一次性看明白
更详细的安装细节可以从网上搜非常多,这里主要做重点总结和踩坑经验,在众多的文章中,只要保证在重点中有的内容,都加上了,服务一定可以稳定运行正常使用。看踩坑经验省去踩坑,此篇文章主要介绍此些方面。①下载Zookeeper地址:https://zookeeper.apache.org/releases.html②解压文件③在文件E:\zookeeper\zookeeper-3.7.0内,新增两个文件夹,分别命名为dataDir和dataLogDir。原创 2023-05-04 14:38:53 · 1095 阅读 · 1 评论