消息组件
文章平均质量分 72
fo3hd
#走出舒适圈,勇于探索未知#
展开
-
spring-kafka几种AckMode模式介绍,MANUAL_IMMEDIATE和MANUAL区别
kafka每个partition都有自己的offset,消费端处理完要向kafka服务器提交offset,基于spring-kafka组件有下面几种AckMode提交模式:模式描述MANUALpoll()拉取一批消息,在处理完业务手动调用Acknowledgment.acknowledge()方法先放到map缓存,在下一次poll之前从缓存拿出来批量提交MANUAL_IMMEDIATE每处理完业务手动调用Acknowledgment.acknowledge()后立即提交原创 2021-07-24 13:51:23 · 17906 阅读 · 1 评论 -
kafka auto.offset.reset设置earliest从头开始消费
auto.offset.reset设置为earliestspring: kafka: bootstrap-servers: 192.168.?.x:9092 consumer: auto-offset-reset: earliest enable-auto-commit: false假设开始已经有一个消费者组:hdGroup1,已经提交了offset,情况如下:接着新增一个消费者组hdGroup3,会从第一个消息开始消费,无论之前是否partitio原创 2021-06-29 14:23:34 · 3546 阅读 · 0 评论 -
spring-kafka并行度concurrency在应用集群部署(多个节点)正确设置,附上Kafka Manager监控效果
我们都知道kafka有topic的概念,为了能够更好的支持水平扩容,topic又分了很多的Partition . 消费者负责消费Partition中的消息,一个Partition只能被一个消费者消费,但是一个消费者可以消费多个partition .所以提升消费能力可以开多几个消费者来消费partition,从而提高系统性能。spring.kafka.listener.concurrency就是spring-kafka组件用来开启消费者线程数的参数。应用在单机部署环境下,这个参数很好理解,你想要开几个相应原创 2021-06-24 17:08:28 · 6042 阅读 · 4 评论 -
spring-kafka消费出现异常:Commit cannot be completed since the group has already rebalanced 消费者突然hung住停止消费
一天发现线上环境大量报kafka异常:CommitFailedExceptionorg.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time between subsequent原创 2020-11-02 14:40:23 · 7890 阅读 · 2 评论 -
ActiveMQ集成springboot项目集群高可用无效,启动失败
基于ZooKeeper和LevelDB搭建ActiveMQ集群,参考文章https://www.cnblogs.com/cac2020/p/9428255.html介绍来配置相关配置。刚开始还是很顺利的,消息正常消费,控制台可以打开。 为了模拟集群高可用,统一kill掉了其中的master节点。 再次启动该节点发现异常:No IOExceptionHandler registered, ignoring IO exception | org.apache.activemq.broker.BrokerSer原创 2020-08-25 18:04:46 · 2342 阅读 · 8 评论 -
RabbitMq安装过程详细介绍
本文主要介绍Install: RPM-based Linux安装方式进入官网地址http://www.rabbitmq.com/install-rpm.html因为我是CentOS 6.x的,直接点击下方图片显示位置下载即可 下载是一个rpm文件rabbitmq-server-3.7.4-1.el6.noarch.rpm因为安装RabbitMQ之前必须要先安装erlang,所以要...原创 2018-04-15 12:21:46 · 212 阅读 · 0 评论 -
rabbitMq
在写代码的时候,我们都知道完成一个模块不可能都在一个方法里面完成所有事情,需要将代码按各种维度拆分出来,保证系统的松耦合,比如用到设计模式中模板模式。 这时候就需要去调用别的类或接口的方法来完成所要完成的功能。 图一:上图是一个类的方法要调用另外一个类里面叫call的方法,接收返回结果,很简单嘛,因为都在一个进程空间,两个类都是同一个java虚拟机实例并且都帮我们解析好了,只要调用一下就...原创 2018-06-06 16:47:45 · 154 阅读 · 0 评论 -
linux安装部署RocketMq带控制台
今天学习了一下阿里的牛逼消息中间件RocketMq,照着官网安装和实践了一把,也遇到一些坑,不过最后还是解决了,现在做个总结。官网地址:http://rocketmq.apache.org/下载的是当前最新版本:4.4.0rocketmq-all-4.4.0-source-release.zip首先解压,通过命令unzipunzip rocketmq-all-4.4.0-source-r...原创 2019-02-25 21:13:23 · 6260 阅读 · 1 评论