kafka
文章平均质量分 55
小方好方
这个作者很懒,什么都没留下…
展开
-
kafka获取性能监控数据
1、背景kafka开源本身实现了yammer metrics,详见https://docs.confluent.io/platform/current/kafka/monitoring.html。只要能获取到metrics的数据kafka对于维护者来说就不再是个黑盒子,每秒进出流量、broker健康度等都可以可视化。2、通过jconsole查看kafka的mbean虽然正式部署到生产环境一般不会使用jconsole,但是这一步对于调试非常有用。本地起一个zk,方便调试我直接通过idea启动kafka原创 2021-05-21 16:24:57 · 1033 阅读 · 3 评论 -
【kafka】使用jmeter压测kafka并发性能
1、idea中开发kafka并发测试需要的扩展包由于jmeter的jms模块并不支持kafka,因此需要扩展开发引入jmeter <dependency> <groupId>org.apache.jmeter</groupId> <artifactId>ApacheJMeter_core</artifactId> <version>5.4.1&l原创 2021-02-09 14:50:51 · 2077 阅读 · 0 评论 -
【kafka】kafka-manager安装部署
1、下载二进制由于只是预研就直接下载二进制,就不从源码编译了,开源也提供了直接可运行的二进制,下载链接:https://github.com/yahoo/CMAK/releases我使用的是3.0.0.4版本2、修改配置修改conf/application.confkafka-manager.zkhosts和cmak.zkhosts修改为真实的zk地址3、启动先启动zookeeperkafka和kafka-manager启动的先后顺序没要求启动kafka-manager使用bin目录下的c原创 2020-12-03 17:10:45 · 369 阅读 · 0 评论 -
【spring-kafka】使用SPEL表达式为消费者配置topic
1、KafkaListenerspring-kafka确实很方便,在方法上加@KafkaListener便实现对kafka数据的接收。从KafkaListener这个注解的各个参数注释上我们可以看出,各个参数不仅可以配置直接的值,也可以配置SPEL表达式,还是比较灵活的。2、topic配置的几种方式(1)直接设置为字符常量,不再赘述(2)application.properties中配置topictopics配置为#{’${target.topic}’.split(’,’)}(3) 通过调原创 2020-10-21 20:23:31 · 1679 阅读 · 0 评论 -
使用IP连接的kafka为什么依然需要hostname
0.背景kafka的服务端和客户端之间使用IP连接,服务端也未配置任何域名,但是却出现了一个奇怪的问题。kafka客户端达到一定数量的时候,大量的连接在超时,服务端出现了许多CLOSE_WAIT状态的连接,抓包发现服务端有时候关闭完一个连接需要花费几分钟的时间,超出了客户端设置的超时时间,客户端在不断重连,服务端的CLOSE_WAIT越来越多。表现出来的问题表象就是客户端连接超时,连kafka集群内部通信也超时,ISR集合在不断的刷新,kafka无法正常对外提供服务。最终解决办法是在服务端的/etc/ho原创 2020-09-05 02:22:43 · 6220 阅读 · 2 评论