用消息发送队列提高网络应用处理效率

原创 2005年05月22日 22:34:00
 

在开发网络应用程序的时候,处理业务和通讯流程之间经常会出现矛盾。这种矛盾主要是由于两者之间的不同步造成的。比如,网络的延迟较大,而实际业务处理的速度则相对比较快,那么如果处理完某一事务然后等待发送成功再处理下一个事务则会大大降低效率。当然,如果必须等待则另当别论。但是,如果处理不需要依赖发送的成功,比如流媒体或者某些网络游戏等等,则要考虑一种更好的方法来解决这个问题了。

解决方法之一是建立一个发送消息的队列,然后处理程序将要发送的数据放入队列,然后通讯程序从队列的另一端取出数据发送。这个也是一个标准的生产者消费者模型:业务处理程序是生产者,通讯程序是消费者,两者在不同的线程中运行,而产品则是待发送的数据。这样业务处理程序可以不间断地处理自己的逻辑,只需要把每次处理的结果放入这个发送队列即可。

既然是一个多线程的应用,难免涉及到线程同步的问题。而这个消费者生产者模型在任何操作系统教材中都可以找到,下面是我在VC中实现的这个消息队列。

 

typedef deque<MyMsg>  MsgQueue;

MsgQueue msgQueue;              //消息队列

SOCKET connectionSocket;

HANDLE hSThread;              

DWORD dwSThreadId;

HANDLE sSemaphore;

HANDLE sMutex;

 

//socket建立等代码略去

//创建线程

hSThread = CreateThread(

            NULL,             

            0,                  

            sendProc,      

            0,            

            0,                

            & dwSThreadId);

//互斥对象

sMutex=CreateMutex(NULL, FALSE, NULL);

//信号量

sSemaphore=CreateSemaphore(NULL, 0, 128, NULL);

 

//发送消息的线程

DWORD WINAPI sendProc(PVOID lpParam)

{

    while(true){

        //等待队列非空

              WaitForSingleObject(sSemaphore, INFINITE);

        //等待队列无操作

              WaitForSingleObject(sMutex, INFINITE);

        MyMsg msg;

              if(msgQueue.empty()==false){

                     MyMsg *pmsg=&(msgQueue.front());

                     memcpy(&msg, pmsg, sizeof(msg));                

              }

        ReleaseMutex(sMutex);

        if(send(connectionSocket, (char *)(&msg), sizeof(msg), 0) ==SOCKET_ERROR){

                     int err = WSAGetLastError();

                     //处理错误

              }

              else{

                     //成功发送,将消息出列

                     WaitForSingleObject(sMutex, INFINITE);

                     msgQueue.pop_front();               

                     ReleaseMutex(sMutex);

              }

    }

}

 

//发送数据函数,即将一个消息放入队列尾部

void sendMsg(MyMsg msg)

{    

    //等待队列无操作

       WaitForSingleObject(sMutex, INFINITE);

    //入队

       msgQueue.push_back(msg);

    //释放互斥对象

       ReleaseMutex(sMutex);

       //通知有新的消息如对,信号量增加1

       ReleaseSemaphore(sSemaphore, 1, NULL);

}

 

这样,我们就完成了一个发送队列的基本模型,显然,这个模型提高了数据处理效率。上面的错误处理处根据情况不通可以有多种选择,比如丢弃该消息或者再次发送等等。在这个模型的基础上,我们可以为每个消息数据添加一些附加信息,比如优先级等等,以适应更复杂的应用需求。总之,发送队列为我们处理网络数据提供了一种思路。

常见的提高高并发下访问的效率的手段

首先要了解高并发的的瓶颈在哪里?      1、可能是服务器网络带宽不够      2.可能web线程连接数不够      3.可能数据库连接查询上不去。      根据不同的...
  • YJ_VS_GY
  • YJ_VS_GY
  • 2017年02月14日 18:22
  • 366

三个提高Oracle处理大量数据效率的有效途径

Oracle性能话题涉及面非常广,市场上有很多书籍专门介绍Oracle调优。对性能的追求是无止境的,需要长期不懈的努力;但要避免性能成为问题却不难,甚至可以说很简单。本文从简单实用的角度出发,给出几个...
  • Cike121272604
  • Cike121272604
  • 2010年08月30日 15:07
  • 10043

采用jdbc批处理 提高jdbc效率

1.将jdbc操作改成批处理  addBatch(); //添加批处理2.使用PreparedStatement代码:eg:Connection conn = DBUtils.getInstance(...
  • wlxtaking
  • wlxtaking
  • 2011年04月14日 23:45
  • 2267

如何用思维导图提高阅读效率?

阅读是修身养性的一种方式,是学习的承接纽带。但是,为什么很多人读的书很多,却收效甚微呢?今天,我们就一起来找找解决办法,看思维导图如何帮助提高阅读效率。 是,你确实读的书很多,但是你不擅于思考和...
  • siweidaotu
  • siweidaotu
  • 2017年12月07日 13:37
  • 82

提高正则表达式效率的方法

让匹配更快失败,尤其是匹配很长的字符串时,匹配失败的位置要比成功的位置多得多。以简单、必须的字元开始,排除明显不匹配的位置,如锚点(^或$),特殊字符(x或\u263A)字符类([a-z]或\d之类的...
  • yimzncy
  • yimzncy
  • 2014年07月09日 15:56
  • 1223

提高BSEG处理效率

BSEG于一般的透明表不同,它是一个簇表。对于一个簇表来说,除了主键项目外,其他项目都被编辑到一个长文本项目中,一起存储在表簇RFBLG中的vardata项目中,这就决定了作为簇表的BSEG无法再建立...
  • zhongguomao
  • zhongguomao
  • 2011年08月30日 16:46
  • 924

聊一聊如何提升团队开发效率

又是一年年底了,又到了忙着总结,忙计划的时间了,相信每年的总结计划里,大家都有提高团队开发效率的计划。列了一大堆提升计划和目标。然而,这些计划真的执行了吗?这些目标都完成了吗?     过...
  • lenovouser
  • lenovouser
  • 2016年03月04日 08:58
  • 2802

如何提高perl处理大文件的效率

Perl最常用的功能之一是处理文本,它内嵌的强大正则表达式是其他语言难以匹敌的,然而,如果使用不当,在处理大文件时(例如我这里的应用程序产生的日志,每天加起来有好几个G),效率会非常底下。下面我总结几...
  • u013914485
  • u013914485
  • 2014年06月25日 21:37
  • 1109

SQL Server海量数据如何提高查询效率几点建议

0.索引 1.当你想在SELECT子句中列出所有的COLUMN时,使用动态SQL列引用 ‘*’ 是一个方便的方法。不幸的是,这是一个非常低效的方法。 实际上,在解析的过程中, 会将‘*’ 依次...
  • WuLex
  • WuLex
  • 2016年06月16日 21:54
  • 3087

基于变更的测试 - 提高测试效率和软件质量的最佳方法

剑桥大学最近所做的研究发现,全球每年花费在解决软件问题上的成本已增加到3120亿美元。这个数字表明软件行业存在严峻的质量问题,各公司都花了很多钱来解决这个问题,但是基本都是治标不治本。而软件存在bug...
  • Trinity_Techologies
  • Trinity_Techologies
  • 2016年08月04日 13:41
  • 636
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:用消息发送队列提高网络应用处理效率
举报原因:
原因补充:

(最多只允许输入30个字)