netmq VS redis 订阅发布性能研究

最新推荐文章于 2024-03-26 09:24:06 发布
最新推荐文章于 2024-03-26 09:24:06 发布
阅读量445 收藏
点赞数
文章标签： 数据库
原文链接：http://www.cnblogs.com/GuojieChen/p/9595250.html
版权

简单介自己绍下：

.NET开发，从事手游开发有8年多，真爱呀 有木有

代码前往这里 https://github.com/GuojieChen/netmq-patterns-sample

目前项目在确定业务需要的技术过程中遇到了一个选择
消息队列使用哪种方式好，性能又是如何

目前网上找到几篇文章
国内：https://www.cnblogs.com/pasoraku/p/4673039.html
国外：https://gist.github.com/hmartiro/85b89858d2c12ae1a0f9

国外这篇文章中提到

ZeroMQ, Pub/Sub: 481,000 msg/s, latency <1 ms
Redis Pub/Sub (async via libevent): 59,000 msg/s, latency <1 ms

对于这个结论（基于C++）这个暂时没有模拟去测试

用例介绍

生产者：10个线程，不断产生数据，这里用时间的记时周期数DateTime.Now.Ticks
消费者：接收数据，计算消耗的时间
每10s统计一次每秒的平均值

netmq

PubSub.Server 订阅方，消费者

using System;
using System.Collections;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;
using NetMQ;
using NetMQ.Sockets;

namespace PubSub.Server
{
    class Program
    {

        static void Main(string[] args)
        {
            SubscriberSocket socket = new SubscriberSocket(">tcp://localhost:1012");
            socket.Subscribe("aaa");
            socket.ReceiveReady += Socket_ReceiveReady;
            NetMQ.NetMQPoller poller = new NetMQ.NetMQPoller();
            poller.Add(socket);
            poller.RunAsync();

            Task.Factory.StartNew(() => 
            {
                while (true)
                {
                    Thread.Sleep(1*1000);

                    var tmp = d;
                    d = new List<TimeSpan>();

                    if (tmp.Any())
                        Console.WriteLine($"{DateTime.Now}\t{tmp.Count / 1}/s\t{tmp.Average(x => x.TotalMilliseconds)}");
                    else
                        Console.WriteLine("-");
                }
            });

            Console.Read();
        }

        private static List<TimeSpan> d = new List<TimeSpan>();
        
        private static void Socket_ReceiveReady(object sender, NetMQ.NetMQSocketEventArgs e)
        {
            var topic = e.Socket.ReceiveFrameString();
            var dt = e.Socket.ReceiveFrameString();
            //Console.WriteLine(dt);
            var t = DateTime.Now.Subtract(new DateTime(Convert.ToInt64(dt)));
            d.Add(t);
        }
    }
}

PubSub.Proxy 中间代理 模拟正式环境中的Proxy层，也等同redis server

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using NetMQ;
using NetMQ.Sockets;

namespace PubSub.Proxy
{
    class Program
    {
        static void Main(string[] args)
        {
            NetMQ.Proxy proxy = new NetMQ.Proxy(new XSubscriberSocket("@tcp://*:1011"),new XPublisherSocket("@tcp://*:1012"));
            Console.WriteLine("running...");
            proxy.Start();
        }
    }
}

PubSub.Client 消费方，生产者

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;
using NetMQ;
using NetMQ.Sockets;

namespace PubSub.Client
{
    class Program
    {
        private static PublisherSocket socket = new PublisherSocket(">tcp://localhost:1011");
        private static NetMQQueue<string> queue = new NetMQQueue<string>();
        static void Main(string[] args)
        {
            queue.ReceiveReady += (s, e) =>
            {
                var msg = e.Queue.Dequeue();
                socket.SendMoreFrame("aaa").SendFrame(msg);
            };

            NetMQPoller poller = new NetMQPoller();
            poller.Add(queue);
            poller.RunAsync();

            for (var i = 0; i < 100; i++)
            {
                Task.Factory.StartNew(Run, i);
            }

            Console.WriteLine("running...");
            Console.Read();
        }

        private static void Run(object obj)
        {
            while (true)
            {
                queue.Enqueue(Convert.ToString(DateTime.Now.Ticks));

                Thread.Sleep(1);
            }
        }
    }
}

redis测试模型

RedisPubSub.Server

using StackExchange.Redis;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;

namespace RedisPubSub.Server
{
    class Program
    {
        private static ConnectionMultiplexer ConnectionMultiplexer = ConnectionMultiplexer.Connect("127.0.0.1:5379,127.0.0.1:5380,password=123456");


        private static List<TimeSpan> d = new List<TimeSpan>();
        
        static void Main(string[] args)
        {
            var date = DateTime.Now;

            ConnectionMultiplexer.GetSubscriber().Subscribe("aaa", (c, m) =>
            { 
                var t = DateTime.Now.Subtract(new DateTime(Convert.ToInt64(m)));

                d.Add(t);
            });


            Task.Factory.StartNew(() => 
            {
                while (true)
                {
                    Thread.Sleep(1 * 1000);

                    var tmp = d;
                    d = new List<TimeSpan>();

                    if (tmp.Any())
                        Console.WriteLine($"{DateTime.Now}\t{tmp.Count / 1}/s\t{tmp.Average(x => x.TotalMilliseconds)}");
                    else
                        Console.WriteLine("-");
                }
            });
            Console.Read();
        }
    }
}

RedisPubSub.Client

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;
using StackExchange.Redis;

namespace RedisPubSub.Client
{
    class Program
    {
        private static ConnectionMultiplexer ConnectionMultiplexer = ConnectionMultiplexer.Connect("127.0.0.1:5379,127.0.0.1:5380,password=123456");

        static void Main(string[] args)
        {
            for (var i = 0; i < 100; i++)
            {
                Task.Factory.StartNew(Run,i);
            }

            Console.WriteLine("running...");
            Console.Read();
        }

        private static void Run(object obj)
        {
            while (true)
            {
                ConnectionMultiplexer.GetSubscriber().Publish("aaa", DateTime.Now.Ticks);
                Thread.Sleep(1);
            }
        }
    }
}

netmq 运行结果

2018/9/5 21:38:07       4810/s  0.0773472247630134
2018/9/5 21:38:17       4953/s  0.0345690630488765
2018/9/5 21:38:27       4956/s  0.0315224333756985
2018/9/5 21:38:37       4838/s  0.0788584731751667
2018/9/5 21:38:47       4968/s  0.0267414818244033
2018/9/5 21:38:57       4927/s  0.0456701723053194
2018/9/5 21:39:07       4921/s  0.0432689302042063
2018/9/5 21:39:17       4927/s  0.0381800129878038
2018/9/5 21:39:27       4816/s  0.0886798555027297
2018/9/5 21:39:37       4666/s  0.118044937753114
2018/9/5 21:39:47       4938/s  0.0384998096665115
2018/9/5 21:39:57       4956/s  0.029773836282561
2018/9/5 21:40:07       4947/s  0.0333202635781134
2018/9/5 21:40:17       4846/s  0.0800275512730572

redis 测试结果

2018/9/5 21:41:18       4948/s  0.0181999898967447
2018/9/5 21:41:28       4987/s  0.0271869203472404
2018/9/5 21:41:38       4988/s  0.0162716218925421
2018/9/5 21:41:48       4995/s  0.0106067283246252
2018/9/5 21:41:58       4991/s  0.00916983653191234
2018/9/5 21:42:08       4983/s  0.0864149871578777
2018/9/5 21:42:18       4989/s  0.0139901451076282
2018/9/5 21:42:28       4993/s  0.0140108803620779
2018/9/5 21:42:38       4988/s  0.0111812829507868
2018/9/5 21:42:48       4994/s  0.00812532134705482
2018/9/5 21:42:58       4991/s  0.0198666673345088
2018/9/5 21:43:08       4987/s  0.025591579622687
2018/9/5 21:43:18       4988/s  0.0872425344264263
2018/9/5 21:43:28       4989/s  0.0124017437665357
2018/9/5 21:43:38       4992/s  0.0293738252613868
2018/9/5 21:43:48       4972/s  0.0869289167286693

结论就大家自己总结拉，而且目前是小量数据的测试
以上有不妥的地方还希望各位大佬指出，感谢

转载于:https://www.cnblogs.com/GuojieChen/p/9595250.html

dixia9077
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
netMQ订阅和发布
06-06
NetMQPub-Sub.zip为NetMQ订阅和发布的代码 ，已经 经过 调试 可以 运行 。
C# Redis发布订阅Demo
10-23
本教程将详细讲解如何在C#环境中利用Redis的发布订阅（Publish-Subscribe，简称Pub/Sub）机制实现跨进程通信，并且会涉及到Key过期通知的处理。 首先，我们需要了解Redis的发布订阅机制。在Redis中，发布订阅是一种...
NetMq学习--发布订阅（一）
weixin_34308389的博客
12-14 221
基于NeqMq 4.0.0-rc5版本发布端： using (var publisher = new PublisherSocket()) { publisher.Bind("tcp://*:5556"); var rng = new Random(); ...
NetMQ 发布订阅模式 Publisher-Subscriber
weixin_34233856的博客
10-14 807
2019独角兽企业重金招聘Python工程师标准>>> ...
NetMQ | 实现TCP的发布订阅模式
猿长大人
04-27 1294
NetMQ是一个轻量级、可扩展的消息队列库，支持多种消息传递模式和传输协议，包括TCP、InProc、IPC、Pipes等。本文我们将介绍如何使用NetMQ实现TCP的发布订阅模式。发布订阅模式是一种常用的消息传递模式，其中发布者向订阅者发送消息，订阅者可以选择订阅自己感兴趣的消息。在NetMQ中，TCP的发布订阅模式是通过使用和实现的。
NetMQ
weixin_30517001的博客
12-18 879
NetMQ是一个封装了Socket队列的开源库，他是ZeroMQ的.net移植版，而ZeroMQ是用C写成的,有人测试过他的性能，几乎可以秒杀其他所有的MQ（MSMQ，RabitMQ等等，都不是他的对手），不过他也有一个弱点，消息不支持持久化！ 定义要发送到消息里的对象 1 using System; 2 using ProtoBuf; 3 4 namespace Mod...
redis订阅发布实现websocket集群.zip
12-03
本项目"redis订阅发布实现websocket集群.zip"利用SpringBoot框架，结合Redis的发布/订阅功能，来实现实时的消息传递，从而达到WebSocket集群的通信目的。 首先，让我们深入了解WebSocket和Redis各自的作用： **...
Redis 订阅发布_Jedis实现方法
08-30
Redis 订阅发布_Jedis 实现方法 在本文中，我们将讨论 Redis 的订阅发布模式及其在 Jedis 中的实现。Redis 的订阅发布模式是一种消息通信模式，发送者通过通道发送消息，订阅过通道的客户端就可以接收到消息。 ...
QT实现redis订阅发布功能
最新发布
06-17
在本文中，我们将深入探讨如何使用Qt框架结合hiredis-1.0.0库来实现Redis的订阅发布功能。Redis是一种高性能的键值存储系统，广泛用于数据缓存、消息队列以及实时数据处理等领域。Qt则是一个跨平台的应用程序开发...
.net core如何使用Redis发布订阅
10-19
本篇文章主要介绍了.net core如何使用Redis发布订阅，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
C#下可用的NetMQ.dll和ProtoBuf.dll
10-06
C#下可用的中间件NetMQ.dll和系列化ProtoBuf.dll，已测试完成可用。
NetMQ介绍
weixin_30618985的博客
02-19 2719
NetMQ 是 ZeroMQ的C#移植版本。 一、ZeroMQ ZeroMQ（Ø）是一个轻量级的消息内核，它是对标准socket接口的扩展。它提供了一种异步消息队列，多消息模式，消息过滤（订阅），对多种传输协议的无缝访问。 ZeroMQ是基于消息队列的多线程网络库，其对套接字类型、连接处理、帧、甚至路由的底层细节进行抽象，提供跨越多种传输协议的套接字。ZeroMQ是网络通信中新的一层，介...
消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe
weixin_34117522的博客
07-04 500
目录 前言 介绍 目的 Socket 接口实现 内部结构 Session Option Pipe YPipe Msg YQueue ...
redis 发布订阅 性能测试
chishuanggun8954的博客
07-12 1723
准备环境 ip服务器 redis版本 是否主从 10.29.190.24 4.0.8 是/主节点 10.28.36.205 4.0.8 是/从节点 ...
Redis发布订阅以及应用场景介绍
热门推荐
怪咖@的博客
05-31 1万+
Redis 发布/订阅是一种消息传模式，其中发送者（在Redis术语中称为发布者）发送消息，而接收者（订阅者）接收消息。传递消息的通道称为channel。Redis的发布和订阅最大的缺点是消息不能持久化！也就是我们通过Redis发送的消息，压根在Redis当中根本没有存。
NetMQ | 发布订阅时使用含通配符的Topic
猿长大人
04-28 636
今天我来介绍一下NetMQ发布订阅时如何使用含通配符的Topic，让我们能够更加灵活地订阅消息。什么是Topic?在NetMQ中，Topic是由一系列标识符组成的字符串，标识符之间用“/”分隔。例如：“home/living-room/lights”。这个Topic可以用来表示家庭中客厅灯的开关状态。
Redis高级特性探秘：发布订阅与事务处理
silenceallat的博客
03-26 564
本文深入探讨了Redis的高级特性——发布订阅和事务处理。我们了解了它们的应用场景、性能考量和安全性的重要性。发布订阅适用于点对多或多对多的消息通信场景，而事务处理则用于保证数据的一致性和完整性。结合具体案例，我们发现了它们在实际应用中的结合使用。最后，我们提出了优化性能和提高安全性的策略。
NetMQ使用——发布订阅模式 Publisher-Subscriber
weixin_30689307的博客
07-19 551
发布者 readonly static ManualResetEvent _terminateEvent = new ManualResetEvent(false); /// <summary> /// NetMQ 发布端 /// </summary> public st...
redis 订阅发布
02-06
Redis 的发布订阅（Pub/Sub）是一种消息通信模式，它支持订阅者向订阅的频道发送消息，以及订阅者向订阅的频道订阅消息。 在 Redis 中，使用 PUBLISH 命令可以将消息发布到频道，而使用 SUBSCRIBE 命令可以订阅频道...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值