kafka
文章平均质量分 80
Mumunu-
这个作者很懒,什么都没留下…
展开
-
深入理解Kafka3.6.0的核心概念,搭建与使用
Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,kafka部署包“kafka_2.13-3.6.0”前面的2.13就是scala的版本。原创 2023-11-13 16:33:52 · 2211 阅读 · 0 评论 -
含Kerberos的CDH6.3.2的Kafka集群外网通配符地址访问配置
基于CDH6..3.2在云上搭建了一套大数据的环境,在内网可以正常访问Kafka集群,但是在window开发环境下无法访问(因为无法访问9092端口,cdh 的kafka默认启动在内网ip上 不是通配符 ,无法生产和消费数据),通过尝试最终解决问题,如下记录修改kafka.properties在kafka.properties中添加下面两行,node01是Kafka节点IP。在CDH环境下,kafka.properties是动态生成的,直接修改配置文件没用,需要在CDH的管理界面修改配置,步骤原创 2022-01-10 10:52:39 · 1267 阅读 · 0 评论 -
假如Kafka集群中一个broker宕机无法恢复, 应该如何处理?
假如Kafka集群中一个broker宕机无法恢复, 应该如何处理?坐地铁时想到这个问题, 印象中书中说添加新的broker, 是不会自动同步旧数据的.笨办法环境介绍三个broker的集群, zk,kafka装在一起| broker | IP | broker.id ||---------|---------------|-----------|| broker1 | 172.18...原创 2020-03-16 14:59:13 · 264 阅读 · 0 评论 -
kafka调优
利用多磁盘并发读写,保证每个磁盘连续读写的特性。 具体配置上,是将不同磁盘的多个目录配置到broker的log.dirs,例如 log.dirs=/disk1/kafka-logs,/disk2/kafka-logs,/disk3/kafka-logs。 JVM参数配置: 设置垃圾回收器。推荐使用最新的G1来代替CMS作为垃圾回收器。 Broker中的JVM参数设置如下: -Xms30g...原创 2019-01-11 10:52:26 · 206 阅读 · 0 评论