用消息发送队列提高网络应用处理效率

原创 2005年05月22日 22:34:00
 

在开发网络应用程序的时候,处理业务和通讯流程之间经常会出现矛盾。这种矛盾主要是由于两者之间的不同步造成的。比如,网络的延迟较大,而实际业务处理的速度则相对比较快,那么如果处理完某一事务然后等待发送成功再处理下一个事务则会大大降低效率。当然,如果必须等待则另当别论。但是,如果处理不需要依赖发送的成功,比如流媒体或者某些网络游戏等等,则要考虑一种更好的方法来解决这个问题了。

解决方法之一是建立一个发送消息的队列,然后处理程序将要发送的数据放入队列,然后通讯程序从队列的另一端取出数据发送。这个也是一个标准的生产者消费者模型:业务处理程序是生产者,通讯程序是消费者,两者在不同的线程中运行,而产品则是待发送的数据。这样业务处理程序可以不间断地处理自己的逻辑,只需要把每次处理的结果放入这个发送队列即可。

既然是一个多线程的应用,难免涉及到线程同步的问题。而这个消费者生产者模型在任何操作系统教材中都可以找到,下面是我在VC中实现的这个消息队列。

 

typedef deque<MyMsg>  MsgQueue;

MsgQueue msgQueue;              //消息队列

SOCKET connectionSocket;

HANDLE hSThread;              

DWORD dwSThreadId;

HANDLE sSemaphore;

HANDLE sMutex;

 

//socket建立等代码略去

//创建线程

hSThread = CreateThread(

            NULL,             

            0,                  

            sendProc,      

            0,            

            0,                

            & dwSThreadId);

//互斥对象

sMutex=CreateMutex(NULL, FALSE, NULL);

//信号量

sSemaphore=CreateSemaphore(NULL, 0, 128, NULL);

 

//发送消息的线程

DWORD WINAPI sendProc(PVOID lpParam)

{

    while(true){

        //等待队列非空

              WaitForSingleObject(sSemaphore, INFINITE);

        //等待队列无操作

              WaitForSingleObject(sMutex, INFINITE);

        MyMsg msg;

              if(msgQueue.empty()==false){

                     MyMsg *pmsg=&(msgQueue.front());

                     memcpy(&msg, pmsg, sizeof(msg));                

              }

        ReleaseMutex(sMutex);

        if(send(connectionSocket, (char *)(&msg), sizeof(msg), 0) ==SOCKET_ERROR){

                     int err = WSAGetLastError();

                     //处理错误

              }

              else{

                     //成功发送,将消息出列

                     WaitForSingleObject(sMutex, INFINITE);

                     msgQueue.pop_front();               

                     ReleaseMutex(sMutex);

              }

    }

}

 

//发送数据函数,即将一个消息放入队列尾部

void sendMsg(MyMsg msg)

{    

    //等待队列无操作

       WaitForSingleObject(sMutex, INFINITE);

    //入队

       msgQueue.push_back(msg);

    //释放互斥对象

       ReleaseMutex(sMutex);

       //通知有新的消息如对,信号量增加1

       ReleaseSemaphore(sSemaphore, 1, NULL);

}

 

这样,我们就完成了一个发送队列的基本模型,显然,这个模型提高了数据处理效率。上面的错误处理处根据情况不通可以有多种选择,比如丢弃该消息或者再次发送等等。在这个模型的基础上,我们可以为每个消息数据添加一些附加信息,比如优先级等等,以适应更复杂的应用需求。总之,发送队列为我们处理网络数据提供了一种思路。

发送队列的默认队列策略 (linux网络子系统学习 第十一节 )

http://yaoyang.blog.51cto.com/7657153/1305123 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律...

WebSphere MQ中将消息发送至远程队列的配置

在学习本教程之前,你需要先在linxu环境下安装MQ并配置完成,可以百度一下教程很多,很简单。(入职第一天老大给了一个任务四天时间学习IBM MQSeries并写一份学习报告,现在基本上初步对MQ消息...

WebSphere MQ7.5教程——教程 1:将消息发送至本地队列

本教程介绍了如何在与任何其他 WebSphere® MQ 安装没有任何通信链路的本地独立安装上设置队列管理器 QM_APPLE 和队列 Q1。定义对象后,可使用多种工具来测试该设置。第一个任务是放置测...

Activemq队列已满向消息发送端发送通知

最近公司准备用Activemq进行消息的通知,并且是request-reply模式的,但是在xiang...

WebSphere MQ7.5教程——教程 2:将消息发送至远程队列

本教程演示如何设置名为 QM_ORANGE 的队列管理器和名为 QM_APPLE 的队列管理器之间的消息传递。您可以通过将同一计算机上的发送队列管理器设置为目标队列管理器,完成本教程并验证环境。在...

MQ中将消息发送至远程队列的配置

MQ中将消息发送至远程队列的配置 摘自MQ资源管理器帮助文档V7 在开始学习本教程之前,您需要从系统管理员处了解标识网络上接收机器的名称:IP地址、MQ的端口号、队列管理器、接收(远程机器)或者是...

【网络编程】——WebSocket打开和关闭通道,消息发送

HTML5给Web浏览器带来了全双工TCP连接WebSocket标准服务器的能力。浏览器和能够与服务器建立连接,通过已建立的通信信道来发送和接收数据而不需要由HTTP协议入额外的开销。 1、环境配置 ...

SpringBoot的RabbitMQ消息队列: 一、消息发送接收第一印象

1.在原来项目的基础上. 修改pom.xml配置,导入jar包 增加配置 org.springframework.boot spring-boot-starter-amqp 2....

MiniGUI消息发送与处理

1.将消息投递到一个先进先出队列中 2.直接把消息发给窗口过程 投递到队列中的消息主要有: 键盘和鼠标消息MSG_LBUTTONDOWN,MSG_MOUSEMOVE,MSG_KEYDOWN,MS...
  • HiRuyue
  • HiRuyue
  • 2013年03月23日 10:28
  • 775

高并发异步非阻塞程序消息发送处理机制

在网络IO密集型的高并发异步非阻塞程序里,网络的IO吞吐量一般远远跟不上CPU的处理能力, 程序在发送大量数据时,会导致TCP的发送缓冲区满,应用层在调用send或write等函数时会返回 EAGAI...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:用消息发送队列提高网络应用处理效率
举报原因:
原因补充:

(最多只允许输入30个字)