![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 52
卿者飞翔
九年编码老鸟
展开
-
redis实现延时队列的两种方式
背景项目中的流程监控,有几种节点,需要监控每一个节点是否超时。按传统的做法,肯定是通过定时任务,去扫描然后判断,但是定时任务有缺点:1,数据量大会慢;2,时间不好控制,太短,怕一次处理不完,太长状态就会有延迟。所以就想到用延迟队列的方式去实现。一,redis的过期key监控1,开启过期key监听在redis的配置里把这个注释去掉notify-keyspace-events Ex然后重启redis2,使用redis过期监听实现延迟队列继承KeyExpirationEventMessageLi原创 2021-01-29 16:09:09 · 10808 阅读 · 9 评论 -
记录一次kafka消息挤压,磁盘爆满事故
背景事情是这样的,生产的单机kafka有两个队列,消息挤压4个亿,磁盘已经超过98%,眼看服务器就要嗝屁了。这可把我们吓得浑身冷汗,激动不已。二话不说,先关机器,删数据,再起机器。然后就要思考到底是什么问题导致的。改造一kafka的partion数量太少了,竟然配置的是1,我特么真是服了,谁他么配置的参数。就一个partion。虽然消费者,起了三个服务,但是就一个partion,也只能有一个消费者消费呀。所以,二话不说,改造首先给partion数量改为了12,其次,给消费者加了并发4,这样三个服务原创 2021-01-27 10:49:33 · 2035 阅读 · 1 评论 -
kafka集群搭建
一,服务器准备1,准备在下面三个服务搭建kafka的三节点集群192.168.1.195192.168.1.196192.168.1.1972,通过xftp把资源文件夹的kafka_2.11-2.0.1.zip 上传到服务器的/u02目录下。每一个服务器都执行。二,安装过程1,kafka需要java8环境,这个需要提前准备java8环境。2,进入到/u02目录下,把安装包解压,每一个服务器都执行。unzip kafka_2.11-2.0.1.zip3,进入/u02/kafka_2.原创 2020-06-22 13:54:38 · 487 阅读 · 1 评论