![](https://img-blog.csdnimg.cn/5341595fa3b74b07ae30479576a6c0e7.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
消息中间件
文章平均质量分 74
消息中间件
时间在手上,需要抓住
这个作者很懒,什么都没留下…
展开
-
kafka:线上问题记录
一、CPU占用过高 应用进程报CPU占用过高,且查看后台的日志解析生成速度较慢,加上日志出现重平衡分配等词,所以推测是重平衡导致CPU升高,而心跳和网络非常正常,又没有掉线或重启的应用,因此推测是poll消费时长过长导致消费被认为掉线引起重平衡。 解决方案如下: 1、调整poll消费参数:max.poll.interval.ms: 600000max.poll.records: 300 即一条消息平均有2秒钟的消费时长,不像默认设置的300000/500,即0.6秒要处理完原创 2023-03-21 16:30:00 · 607 阅读 · 0 评论 -
Kafka:可靠性保证
摘要 系统设计之初,就该保证可靠性,这样才能保证数据不丢失。kafka也是如此,因此它支持集群部署,消息也有副本备份,有确认和重发机制,以及文件的保存和删除,它们具体怎样工作的,这里探讨下。原创 2023-03-19 16:05:39 · 1058 阅读 · 0 评论 -
kafka:消息发送以及消费的过程
kafka的存储消息,生产者发送消息,消费者消费消息。这些看起来简单,但实际细想,会有很多问题需要解决:消息是单个单个发送还是批量发送?broker的主题里一有消息就立即推送给消费者吗?生产者的消息怎么保证成功发送到kafka,kafka怎么保证消息传给了消费者?原创 2023-03-15 19:32:25 · 2255 阅读 · 0 评论 -
kafka:各组件概念
摘要 kafka主要由Scala和Java编写,broker启动后可以直接用jps -l查看到是kafka进程。kafka是一种高吞吐量的分布式发布订阅消息系统,组件参数都比较多。总体组件 kafka的组件主要有:Kafka Cluster(zookeeper和kafka broker组成)、Producer、Consumer、Connector、Stream,总体架构图如下:原创 2023-03-15 10:42:28 · 1299 阅读 · 0 评论 -
kafka:broker、producer、consumer常用配置
摘要 kafka参数官方文档为:https://kafka.apache.org/documentation/#producerconfigs,这里记下常用配置。broker 我们在kafka官网下载的文件比如kafka_2.11-2.4.0.tgz解包启动后就是就是kafka节点,主要用于接收分发消息。这些节点可以用配置成单机也可以配置集群,配置主要修改config目录下的server.properties,具体如下:原创 2023-03-14 20:20:24 · 2546 阅读 · 0 评论 -
kafka:java集成 kafka(springboot集成、客户端集成)
对于java的kafka集成,一般选用springboot集成kafka,但可能由于对接方kafka老旧、kafka不安全等问题导致kafak版本与spring版本不兼容,这个时候就得自己根据kafka客户端api集成了。原创 2023-03-13 15:44:58 · 5366 阅读 · 1 评论 -
kafka:集群启动时部分节点超时启动失败
推测:三台kafka同时启动,对cpu负荷较高,线程没有足够的时间片来连接zookeeper。因此,有两个优化点:(1)加大kafka连接zookeeper超时时间,(2)脚本里各kafka一台一台启动而不是同时启动。启动脚本里直接启动zookeeper,睡眠后20秒启动三台kafka的,最后启动efak。最后附下关闭脚本,zookeeper没掉线的情况下,只需关闭kafka集群中的一个节点,其它节点都会关闭。原创 2023-03-09 19:03:16 · 1204 阅读 · 0 评论 -
kafka:linux 安装 kafka集群
启动:sh /opt/kafka/kafka_2.11-2.4.0/bin/kafka-server-start.sh -daemon /opt/kafka/kafka_2.11-2.4.0/config/server.properties。若要关闭efak,则运行命令:sh/opt/kafka-eagle/kafka-eagle-bin-2.1.0/efak-web-2.1.0/bin/ke.sh stop。下载linux版本的jdk包,比如:jdk-8u192-linux-x64.tar.gz。原创 2023-03-09 17:35:10 · 1511 阅读 · 0 评论