kafka
文章平均质量分 86
1、Kafka核心Api使用
2、Springboot整合Kafka
3、Kafka核心设计架构剖析
4、Kafka高性能和高可用部署
5、Kafka生产调优
Cry丶
/*有些梦虽然遥不可及, 但却并不是不可以实现*/<br>
写博客的原因(告戒自己):
1.记录自己的成长, 是非对错10年后回望;
2.我踩过的坑,同仁们就不要再迈了;
3.开源精神 理想主义 利他主义。
展开
-
【零拷贝】kafka和netty零拷贝在实现机制上的区别
简单画了一张对比2者零拷贝机制的逻辑图:首先介绍一下什么是零拷贝,零拷贝有哪些实现办法?零拷贝零拷贝其实并不是完全没有数据拷贝,只要能减少内核原创 2022-02-16 10:53:08 · 1385 阅读 · 0 评论 -
【Kafka】Kafka生产问题总结及性能优化实践
Kafka可视化管理工具kafka-manager安装及基本使用可参考:https://www.cnblogs.com/dadonggg/p/8205302.html线上环境规划(参考)注意:对于单机抗高并发(上万)的机器,一定要上大内存JVM参数设置kafka是scala语言开发,运行在JVM上,需要对JVM参数合理设置,参看JVM调优专题修改bin/kafka-start-server.sh中的jvm设置,假设机器是32G内存,可以如下设置:export KAFKA_HEAP_OPTS原创 2022-02-16 09:39:51 · 457 阅读 · 0 评论 -
【Kafka】Kafka设计原理详解
Kafka设计原理详解Kafka核心总控制器Controller在Kafka集群中会有一个或者多个broker,其中有一个broker会被选举为控制器(Kafka Controller),它负责管理整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时,由控制器负责为该分区选举新的leader副本。当检测到某个分区的ISR集合发生变化时,由控制器负责通知所有broker更新其元数据信息。当使用kafka-topics.sh脚本为某个topic增加分区数量时,同样还是由控制器负责原创 2022-02-14 11:01:32 · 197 阅读 · 0 评论 -
【Kafka】Kafka架构设计之组件详解
Meta(元信息)broker :servertopic:queue组,partition:queue,默认1:1,可以1:多,每个partition对应一个磁盘中的文件为什么要设计topic和partition,1:多的关系?kafka的设计上broker会存在消息积压,最终msg会落地到磁盘文件中持久化,大数据量的情况下要考虑分布式存储,所以要把topic拆成几个partition,存在放在不同的物理机上实现分布式存储指定不同的consumer消费不同的partition,提升消费并行度,不原创 2022-02-14 10:39:51 · 1190 阅读 · 0 评论 -
【Kafka】Kafka核心使用和SpringBoot整合
Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。Kafka的使用场景日志收集:一个公司可以用K.原创 2022-02-14 10:31:18 · 1295 阅读 · 4 评论