![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 76
kafka环境搭建与配置使用
霸都阿甘
这个人超级懒但是很帅~可是依然什么都没有留下
展开
-
Kafka可视化管理、线上环境常见问题
下载kafka-manager包,进行解压、修改配置、启动修改kafka-manager.zkhosts为zookeeper集群地址即可启动命令kafka是scala语言开发,运行在JVM上,需要对JVM参数合理设置,修改bin/kafka-start-server.sh中的jvm设置,假设机器是32G内存,可以如下设置:这种大内存的情况一般都要用G1垃圾收集器,因为年轻代内存比较大,用G1可以设置GC最大停顿时间,不至于一次minor gc就花费太长时间,当然,因为像kafka,rocket原创 2022-06-19 16:18:55 · 314 阅读 · 0 评论 -
Kafka设计原理详解
在Kafka集群中会有一个或者多个broker,其中有一个broker会被选举为控制器(Kafka Controller),它负责管理整个集群中所有分区和副本的状态。在kafka集群启动的时候,会自动选举一台broker作为controller来管理整个集群,选举的过程是集群中每个broker都会尝试在zookeeper上创建一个 /controller 临时节点,zookeeper会保证有且仅有一个broker能创建成功,这个broker就会成为集群的总控器controller。当这个controlle原创 2022-06-19 16:16:24 · 361 阅读 · 0 评论 -
java集成kafka实战
java集成kafka原创 2022-06-14 18:28:29 · 1361 阅读 · 0 评论 -
kafka 原理分析
1、Producer 原理分析kafka 生产者客户端由两个线程协调运行,这两个线程分别为主线程和 Sender 线程 (发送线程)。在主线程中由 KafkaProducer 创建消息,然后通过拦截器、序列化器和分区器的作用之后缓存到消息累加器( RecordAccumulator,也称为消息收集器〉中。 Sender 线程负责从RecordAccumulator 中获取消息并将其发送到 Kafka 中 。核心代码:org.apache.kafka.clients.producer.KafkaPro原创 2020-05-20 09:44:58 · 319 阅读 · 0 评论 -
kafka架构分析与集群搭建
1、kafka 简介Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica)、 基于zookeeper协调的分布式消息系统,它最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎、web/nginx 日志、访问日志、消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为其顶级开源项目。优势:高吞吐量、低延迟:原创 2020-05-20 09:44:08 · 588 阅读 · 0 评论