MQ
文章平均质量分 79
小P聊技术
免费提供资源 && 解答技术问题 && QQ①群 725477119
展开
-
MQ 主流的MQ的对比与业务选型
1 简介消息队列中间件是分布式系统中重要的组件,主要解决应用耦合、异步消息、流量削锋等问题。它可以实现高性能、高可用、可伸缩和最终一致性架构,是大型分布式系统不可缺少的中间件。消息队列在电商系统、消息通讯、日志收集等应用中扮演着关键作用,以阿里为例,其研发的消息队列(RocketMQ)在历次天猫 “双十一” 活动中支撑了万亿级的数据洪峰,为大规模交易提供了有力保障。作为提升应用性能的重要手段,分布式消息队列技术在互联网领域得到了越来越广泛的关注 。在之前的博文中,我们介绍了四种常用的消息中间件:Act原创 2021-04-30 08:33:13 · 710 阅读 · 0 评论 -
MQ Springboot整合kafka
1 资源资源信息版本号备注kafka2.12-2.1.0IP: 192.168.51.4springboot2.1.5.RELEASEspringboot-kafka-demo 源码 下载2 kafka安装需要安装kafka,如果未安装,可参考博文:MQ Kafka安装部署和配置3 springboot整合3.1 父pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="原创 2021-04-29 08:20:33 · 2237 阅读 · 3 评论 -
MQ kafka单机安装配置和部署
1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4JRE1.8如果已安装请忽略kafka2.12-2.1.0IP: 192.168.51.4zookeeper3.4.10IP: 192.168.51.4JRE-1.8 下载CSDN kafaka下载官网地址:kafaka下载2 JDK安装zookeeper是需要依赖于JDK环境的,如果未安装,可参考博文:Centos7 离线安装和配置jre1.8:http原创 2021-04-28 13:19:52 · 234 阅读 · 0 评论 -
MQ kafka入门介绍及核心原理
1 简介Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。2 特点同时为发布和订阅提供高吞吐量。据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。可进行持久化操作。将消息持久化到磁盘,因此可用于批量消费,例如ETL,以及实时应用程序。通过将数据持久化到硬盘以及replication防止数据丢失。分布式系统原创 2021-04-27 08:22:23 · 733 阅读 · 0 评论 -
MQ Springboot整合RabbitMQ
1 资源资源信息版本号备注rabbitMQ3.6.5IP: 192.168.51.4springboot2.1.5.RELEASEspringboot-rabbitmq-demo 源码 下载2 rabbitmq安装需要安装rabbitmq,如果未安装,可参考博文:MQ RabbitMQ 单机版部署和配置3 springboot整合3.1 pom文件<?xml version="1.0" encoding="UTF-8"?><proj原创 2021-04-26 08:21:58 · 249 阅读 · 0 评论 -
MQ RabbitMQ 高可用集群(七):集群应用监控
1 集群问题1.1 实际问题生产注意问题:https://blog.csdn.net/astiantian/article/details/84231578按默认配置安装完RabbitMQ后,发现其File descriptors(即文件描述符)和Socket descriptors都特别低,分别为924和829。客户端(消费者)保持长连接时很容易就将socket占满。2 核查问题经查该问题是由于系统当前的ulimit -n仅为1024,rabbitmq在启动时会进行如下换算:file_lim原创 2021-04-25 08:32:57 · 198 阅读 · 2 评论 -
MQ RabbitMQ 高可用集群(六):集群管理
1 集群节点重置停止所有服务后,删除 /var/lib/rabbitmq/mnesia 文件夹内容,重新再启动每个节点!2 集群配置管理2.1 配置集群首先,我们在管控台里可以对集群的vhost、exchange、queue、用户等进行增删改查。我们在overview的最下面Import / export definitions中 可以下载(当前集群配置)和上传(修改集群)配置,这些配置为json格式。如图所示:2.2 配置信息通过修改JSON文件的方式去通过管控台web界面去对集群配置原创 2021-04-24 09:31:50 · 328 阅读 · 1 评论 -
MQ RabbitMQ 高可用集群(五):集群配置与测试运行
1 集群配置1.1 环境变量配置在 /etc/rabbitmq/ 目录下,创建 rabbitmq-env.conf配置文件rabbitmq-env.conf 配置内容:---------------------------------------关键参数配置-------------------------------------------RABBITMQ_NODE_IP_ADDRESS=本机IP地址RABBITMQ_NODE_PORT=5672RABBITMQ_LOG_BASE=/var/原创 2021-04-23 08:31:14 · 535 阅读 · 0 评论 -
MQ RabbitMQ 高可用集群(四):Keepalived安装和配置
1 简介Keepalived,它是一个高性能的服务器高可用或热备解决方案,Keepalived主要来防止服务器单点故障的发生问题,可以通过其与Nginx、Haproxy等反向代理的负载均衡服务器配合实现web服务端的高可用。Keepalived以VRRP协议为实现基础,用VRRP协议来实现高可用性(HA).VRRP(Virtual Router Redundancy Protocol)协议是用于实现路由器冗余的协议,VRRP协议将两台或多台路由器设备虚拟成一个设备,对外提供虚拟路由器IP(一个或多个)。原创 2021-04-22 08:25:39 · 546 阅读 · 0 评论 -
MQ RabbitMQ 高可用集群(三):Ha-Proxy安装和配置
1 简介HAProxy是一款提供高可用性、负载均衡以及基于TCP和HTTP应用的代理软件,HAProxy是完全免费的、借助HAProxy可以快速并且可靠的提供基于TCP和HTTP应用的代理解决方案。HAProxy适用于那些负载较大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy可以支持数以万计的并发连接,并且HAProxy的运行模式使得它可以很简单安全的整合进架构中,同时可以保护web服务器不被暴露到网络上。引用: http://www.rabbitmq.com/blog/2011原创 2021-04-21 08:54:51 · 2345 阅读 · 4 评论 -
MQ RabbitMQ 高可用集群(二):集群搭建
1 集群节点安装单节点安装RabbitMQ,可参考博文:MQ RocketMQ安装部署和配置: http://www.baidu.com以上操作三个节点(71、72、73)同时进行操作2 文件同步配置选择71、72、73任意一个节点为Master(这里选择71为Master),也就是说我们需要把71的Cookie文件同步到72、73节点上去,进入/var/lib/rabbitmq目录下,把/var/lib/rabbitmq/.erlang.cookie文件的权限修改为777,原来是400;原创 2021-04-20 08:37:39 · 1261 阅读 · 7 评论 -
MQ RabbitMQ 高可用集群(一):架构设计
1 服务架构概述架构使用技术:RabbitMQ Cluster + Queue HA + Haproxy + Keepalived3台rabbitMQ服务器构建broker集群,允许任意2台服务器故障而服务不受影响,在此基础上,通过Queue HA (queue mirror)实现队列的高可用,在本例中镜像到所有服务器节点(即1个master,2个slave);为保证客户端访问入口地址的唯一性,通过haproxy做4层代理来提供MQ服务,并通过简单的轮询方式来进行负载均衡,设置健康检查来屏蔽故障节点对客原创 2021-04-19 14:37:27 · 303 阅读 · 2 评论 -
MQ RabbitMQ 集群部署入门
1 简介rabbitmq集群架构,包含主备模式、远程模式、镜像模式、多活模式。2 主备模式2.1 介绍也称为 Warren (兔子窝) 模式。一个主/备方案 (activeMq 通过 zookeeper做主备)。实现 rabbitMQ 的高可用集群,一般在并发和数据量不高的情况下,这种模式非常的好用且简单。也就是一个主/备方案,主节点提供读写,备用节点不提供读写。如果主节点挂了,就切换到备用节点,原来的备用节点升级为主节点提供读写服务,当原来的主节点恢复运行后,原来的主节点就变成备用节点,和原创 2021-04-18 09:22:01 · 565 阅读 · 0 评论 -
MQ RabbitMQ 单机版部署和配置
1 资源资源信息版本号备注Centos77.5IP: 192.168.51.4RabbitMQ3.6.5CSDN RabbitMQ下载: https://download.csdn.net/download/qq_15769939/16470226官网 RabbitMQ下载:https://github.com/rabbitmq/rabbitmq-server/releases2 安装与配置2.1 上传服务器将文件上传到服务器的 /opt/modu原创 2021-04-17 19:50:02 · 570 阅读 · 0 评论 -
MQ RabbitMQ入门介绍和核心原理
1 简介RabbitMQ是一个开源的AMQP实现,服务器端用Erlang语言编写,支持多种客户端,如:Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等,支持AJAX。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。且RabbitMQ是基于 AMQP 协议的,目前各个互联网大厂都在使用RabbitMQ作为消息中间件。附上官网地址: https://www.rabbitmq.com/2 特点2.1 核心特点原创 2021-04-15 20:01:18 · 205 阅读 · 0 评论 -
MQ Springboot整合RocketMQ
1 资源资源信息版本号备注rocketMQ4.8.0IP: 192.168.51.4springboot2.4.0springboot-rocketmq-demo 源码 下载2 rocketmq安装需要安装rocketmq,如果未安装,可参考博文:MQ RocketMQ安装部署和配置3 springboot整合3.1 pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns=原创 2021-04-14 08:30:24 · 433 阅读 · 0 评论 -
MQ RocketMQ安装部署和配置
1 资源资源信息版本号备注Centos77.5IP: 192.168.51.5JRE1.8如果已安装请忽略RocketMQ4.8.0JRE-1.8 下载:https://download.csdn.net/download/qq_15769939/12115544CSDN RocketMQ下载: https://download.csdn.net/download/qq_15769939/16091337官网 RocketMQ下载:https:原创 2021-04-09 08:50:00 · 413 阅读 · 0 评论 -
MQ RocketMQ入门介绍及核心原理
1 简介RocketMQ是一款分布式、队列模型的消息中间件,由阿里巴巴自主研发的一款适用于高并发、高可靠性、海量数据场景的消息中间件。早期开源2.x版本名为Metaq,迭代3.x版本,更名为RocketMQ,16年开始贡献到Apache。经过1年多的孵化,最终成为Apache顶级的开源项目,更新非常频繁,社区活跃度也非常高;目前4.8.0-release版本。RocketMQ参考借鉴了优秀的开源消息中间件Apache - Kafka,其消息的路由集群划分都借鉴了Kafka优秀的设计思路,并结合自身的 “原创 2021-04-07 08:43:32 · 1471 阅读 · 8 评论 -
MQ Springboot整合ActiveMQ
1 资源资源信息版本号备注activeMQ5.16.1IP: 192.168.51.4springboot2.1.5.RELEASEprettyZoo2.0zookeeper可视化工具springboot-activemq-demo 源码 下载2 zookeeper安装需要安装zookeeper,如果未安装,可参考博文:MQ ActiveMQ安装部署和配置3 springboot整合3.1 pom文件<?xml version="1.0原创 2021-04-03 09:42:17 · 183 阅读 · 0 评论 -
MQ ActiveMQ安装部署和配置
1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4JRE1.8如果已安装请忽略activeMQ5.16.1JRE-1.8 下载CSDN ActiveMQ下载官网地址:ActiveMQ下载2 JDK安装zookeeper是需要依赖于JDK环境的,如果未安装,可参考博文:Centos7 离线安装和配置jre1.83 安装与配置3.1 上传服务器将文件上传到服务器的 /opt/module/software/Ac原创 2021-04-02 08:27:28 · 387 阅读 · 0 评论 -
MQ ActiveMQ入门介绍及核心原理
1 概述Apache下的一个非常流行的消息中间件,使用JAVA支持的JMS Provider实现,所以和JAVA程序完全兼容,开发java项目中间件首选。当然ActiveMQ不仅仅支持JAVA,在C++、Dotnet、Python、Php、Ruby、Websocket等多种客户端都可以提供良好的服务。ActiveMQ凭借其丰富的API、多种集群构建模式使得他成为业界老牌消息中间件,在中小型企业中应用广泛!在实际的使用,activeMQ在高并发,高性能的应用中,会抛出JMSException,并且断开链原创 2021-04-01 08:31:32 · 642 阅读 · 0 评论 -
MQ 分布式消息队列入门
1 概述消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等。2 JMS简介2.1 JMS概述JMS(Java Messaging Service)是Java平台上有关面向消息中间件(MOM)的技术规范,它便于消息系统中的Java应用程序进行消息交换,并且通过提原创 2021-03-31 08:35:00 · 543 阅读 · 2 评论