常用的消息队列

一、redis消息队列和kafka消息队列的比较
  1、Redis作为消息队列
  Redis的pub-sub模式非常像西式快餐一样,快产快消,全都是因为Redis是使用内存来做存取,所有你生产的消息立马会被消费者一次性全部处理掉,并且没有留下任何痕迹, 同时因为内存总是宝贵的,所以内存上会有限制,当生产者以及消费者上来的时候也会对redis的效率,还有Redis在处理发布和消费big size(10K+的文件)的数据的时候会表现出无法忍受的缓慢

如果有以下场景可以考虑使用Redis作为消息队列:

a、如果你的需求是快产快消的即时消费场景,并且生产的消息立即被消费者消费掉
  b、如果速度是你十分看重的,比如慢了一秒好几千万这种
  c、如果允许出现消息丢失的场景
  d、如果你不需要系统保存你发送过的消息,做到来无影去无踪
  e、需要处理的数据量并不是那么巨大

2、KafKa作为消息队列
  KafKa的设计精妙,支持分布式,高可用的部署,并且对一个大的队列采用分成多个Partition(分区),来提高消息入队的吞吐量,分而治之的思想. 并且消费的时候支持group的概念,能够支持多个客户端消费同个队列,并且一个group中可以增加consumer的数量来扩展消费的处理量.

KafKa不熟生产者数量的影响,因为吞吐量足够支撑,即使在廉价的单机服务器上也可以有10万每秒的消息传输量,并且消费者是想什么时候消费都可以,消息它就在那里,十分灵活,不用担心来无影去无踪的恐慌.能把消息持久化,并以一定的策略(例如一定时间内删除,或者到达多大容量的时候清空)

当有一下场景的时候你可以考虑使用KafKa作为消息队列:
  a、如果你想要稳定的消息队列
  b、如果你想要你发送过的消息可以保留一定的时间,并不是无迹可寻的时候
  c、如果你无法忍受数据的丢失
  d、如果速度不需要那么的快
  e、如果需要处理数据量巨大的时候

更多消息队列推荐:https://blog.csdn.net/u013521220/article/details/104352365

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
数据采集平台通常支持从kafka、ActiveMQ等常用消息队列采集实时数据以及支持SCADA、DCS等数据采集和设备毫秒级数据采集,下面是它们的详细描述: 1. 从kafka、ActiveMQ等常用消息队列采集实时数据:数据采集平台可以通过连接到kafka、ActiveMQ等常用消息队列,实现对实时数据的采集。通过这种方式,可以实现对实时数据的实时采集和处理,满足实时数据处理的需求,包括实时监控、实时报警等。 2. 支持SCADA、DCS等数据采集:SCADA(Supervisory Control And Data Acquisition)系统是一种监控和控制系统,可以实现对工业设备、自动化生产线等的监控和控制。DCS(Distributed Control System)系统是一种分布式控制系统,可以实现对工业生产过程的监控和控制。数据采集平台可以支持SCADA、DCS等数据采集,实现对工业设备和生产过程数据的采集和监控,提高生产效率和质量。 3. 设备毫秒级数据采集:在工业生产、交通运输、能源管理等领域,对于设备的数据采集需要毫秒级的精度。数据采集平台可以支持设备毫秒级数据采集,实现对实时数据的高精度采集和处理,满足对实时数据的高要求。 综上所述,数据采集平台支持从kafka、ActiveMQ等常用消息队列采集实时数据以及支持SCADA、DCS等数据采集和设备毫秒级数据采集,可以满足不同行业对于实时数据采集和处理的需求,提高数据采集的效率和质量。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

原克技术

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值