消息中间件MQ
文章平均质量分 85
介绍学习消息中间件
RabbitMQ
kafka
rocketmq
Pulsar
powerfuler
这个作者很懒,什么都没留下…
展开
-
Apache Pulsar
Apache Pulsar简介Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、 轻量化函数式计算为一体。该系统源于 Yahoo,最初在 Yahoo 内部开发和部署,支持 Yahoo 应用服务 平台 140 万个主题,日处理超过 1000 亿条消息。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软 件基金会进行孵化,2018 年成为 Apache 软件基金会顶级项目。Pulsar 作为下一代云原生分布式消息原创 2021-11-02 11:09:50 · 552 阅读 · 0 评论 -
RocketMQ安装
一、单实例安装&启动1、安装-目录规划cd /opt/soft# 上传RocketMQ二进制压缩包,到/opt/soft目录下 或者直接wget下载wget https://archive.apache.org/dist/rocketmq/4.7.1/rocketmq-all-4.7.1-binrelease.zip# 安装unzip解压yum install -y unzip# 解压unzip rocketmq-all-4.7.1-bin-release.zip# 重命名原创 2021-10-29 14:42:58 · 218 阅读 · 0 评论 -
RabbitMQ如何保证消息的可靠性
RabbitMQ如何保证消息的可靠性 1、保证消息不丢失(三步) 开启事务(不推荐) 开启confirm(推荐) 开启RabbitMQ持久化(交换机、队列、消息) 关闭RabbitMQ自动ack(改成手动) 2、保证消息不重复消费 幂等性(每个消息用一个唯一标识来区分,消费前先判断标识有没有被消费过,若已消费过,则直接ACK) 3、RabbitMQ如何保证消息的顺序性 将消息放入同一个交换机,交给同一个队列,这个队列只有一个消费者,消费者只允许同时开启一个线程.原创 2021-10-29 12:19:31 · 5104 阅读 · 0 评论 -
rabbitmq安装和使用
rabbitmq安装和使用一、安装依赖环境1. 在 http://www.rabbitmq.com/which-erlang.html 页面查看安装rabbitmq需要安装erlang对应的 版本2. 在 https://github.com/rabbitmq/erlang-rpm/releases 页面找到需要下载的erlang版本,erlang-*.centos.x86_64.rpm 就是centos版本的。3. 复制下载地址后,使用wget命令下载wget -P /home.原创 2021-10-29 10:01:54 · 288 阅读 · 0 评论 -
Kafka 和 Zookeeper 的部署
文章目录说明Zookeeper下载修改配置文件创建目录启动服务Kafka下载修改配置文件启动服务添加开机自启动初始化数据修改服务器配置Kafka常用命令zookeeper常用命令说明由于我们现在还没有 docker 环境,所以只能部署到服务器上了Zookeeper下载从官方镜像地址下载到安装目录并解压wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz原创 2020-12-08 09:00:24 · 491 阅读 · 0 评论 -
kafka踩坑、实践篇
kafka踩坑、实践篇1、从kafka读取数据后 数据会自动删除吗不会,kafka中数据的删除跟有没有消费者消费完全无关。数据的删除,只跟kafka broker上面上面的这两个配置有关:# 数据文件保留多长时间, 存储的最大时间超过这个时间会根据log.cleanup.policy设置数据清除策略,log.retention.bytes和log.retention.minut...原创 2020-04-08 19:34:29 · 4200 阅读 · 0 评论 -
kafka 配置文件详解(server.properties,producer.properties,consumer.properties)
kafka 配置文件详解server.properties# kafka server配置 kafka最为重要三个配置依次为:broker.id、log.dir、zookeeper.connect# 每一个broker在集群中的唯一表示,要求是正数。当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况broker.id=0# bro...原创 2020-04-07 10:26:55 · 5918 阅读 · 2 评论 -
Kafka基础介绍
Kafka基础介绍1、什么是 KafkaKafka 是由 Linkedin 公司开发的,它是一个分布式的,支持多分区、多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。框架:上面是一张kafka关于消息队列的软件架构图。1. 消息从上到下依次通过Producer、Broker、Consumer三个角色传递。2. 三个角色...原创 2020-03-12 20:52:01 · 271 阅读 · 0 评论 -
虚拟机基础常用操作命令(2)——软件安装、环境搭建
虚拟机软件安装、环境搭建1、 wget: 未找到命令[root@localhost ~]# yum -y install wget安装完毕即可。上面的方法使用的前提是你的linux 系统是已经连接外网,可以ping一下百度主页,如果通,就是连接外网了,不是的话,就要先去打开网络链接(这个百度一下就很多),打开网络链接后,重启linux系统这样才真的可以上外网,因为wget是通过...原创 2020-03-12 20:26:58 · 2143 阅读 · 0 评论 -
虚拟机基础常用操作命令(1)——虚拟机环境
虚拟机基础常用操作:1、cent0s7 改密码https://jingyan.baidu.com/article/f71d6037b16a3d1ab741d157.html2、CentOS7图形界面与命令行界面切换:在图形界面使用 ctrl+alt+F2切换到dos界面 dos界面 ctrl+alt+F1切换回图形界面3、CentOS7安装后,localhost l...原创 2020-03-05 19:19:05 · 4600 阅读 · 2 评论 -
Kafka部署到服务器
Kafka部署到服务器下载从官方镜像地址下载到安装目录并解压wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgztar -zxf kafka_2.11-2.0.0.tgz -C /data1/ehserver/env修改配置文件修改 config/server.properti...原创 2019-03-16 11:41:25 · 1974 阅读 · 0 评论