引用计数+写时拷贝

最近在研究网络层性能的优化,IO的设计现在都有比较成熟的方案,比如使用Windows下的IOCP和linux下的多路复用(epoll等)模型,或者直接使用libuv,libev等封装的比较完善的Reactor模型。所以,主要考虑的还是数据方面的优化,这里也不谈论多线程锁的使用和可能进行的优化,剩下的也就是数据拷贝和内存回收了。

其实想到这里主要是因为我们游戏框架的数据包发送效率有很大的改善空间,比如对于一个已经构建完成的数据包,每次发送之前都需要拷贝出一个完全相同的数据包,然后再调用发送接口或者推送到一个发送队列。对于小数据包来说,内存拷贝对性能的影响可以忽略不计,但对于大数据包或者大量广播数据包,性能损失就不容忽视了。防止内存拷贝,保证数据指针在内存中只有一份,解决方法就是对数据包添加一个引用计数的原子变量,发送之前增加计数(原子操作),成功后减少计数,计数减至0时回收内存。

我们之前没有这么做是因为一个数据包发送之后,逻辑层可能还会继续对数据包进行写操作。对于将数据包作为userdata的lua对象来说,也无法保证发送之后lua层不会继续调用写包接口,而且我个人观点是不应该阻止逻辑层的这种行为。乍想问题似乎无解了,但其实已经解决了!还是从引用计数上着手,加上写时拷贝机制:数据包创建时,默认引用计数为1,调用发送接口之前,引用计数加1(原子操作)。对于任意数据包被推送到的线程或者原发送数据包的逻辑线程(即拥有数据包的线程),若判定其引用计数大于1则表示数据可能正在被多线程占用,这时触发写操作时(读操作和发送操作都可直接使用),再拷贝出一个完整的数据包(cow),之后的操作就完全隔离了,若拥有数据包的线程将引用计数减1,则表示该线程放弃数据包的使用权,之后对数据包的操作将无法预测。刚开始还想这样做会不会因为每次的写操作都会做引用计数的原子判断对效率产生影响,后来想到只要原子计数的类型小于cpu数据总线的宽度的话,原子判断即不必须了(把计数定义为volatile的,我对这一点儿也没有太大信心,希望大牛能指点)。

上面我们解决了数据包的线程安全问题,即对于能拿到数据包的线程来说,读写都是线程安全的了。对于内存回收重利用,在数据包引用计数减为0时,可将数据包放入回收队列中,个人考虑是每个线程一个回收队列,可以尽量避免锁竞争的问题,另外,对不同内存大小的数据包可根据大小进行分段处理,避免再次使用数据包时出现内存反复申请的问题(不然回收重利用机制的意义也就不大了)。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
源码,有注释 // IOCPServer.h: interface for the CIOCPServer class. // ////////////////////////////////////////////////////////////////////// #if !defined(AFX_IOCPSERVER_H__3BBFA68A_31AC_42BB_806B_0D858AF0A861__INCLUDED_) #define AFX_IOCPSERVER_H__3BBFA68A_31AC_42BB_806B_0D858AF0A861__INCLUDED_ #if _MSC_VER > 1000 #pragma once #endif // _MSC_VER > 1000 #pragma once #pragma comment(lib,"Ws2_32.lib") #pragma comment(lib,"Mswsock.lib") #include <winsock2.h> #include <Mswsock.h> #define BUFFER_SIZE 1024*4//I/O请求的缓冲区大小 #define MAX_THREAD 2 //I/O服务器线程数量 //缓冲区对象,它包含了在套接字上处理I/O操作的必要信息 struct CIOCPBuffer { WSAOVERLAPPED ol; SOCKET sClient; //AcceptEx接收的客户套接字 char *buff; //I/0操作使用的缓冲区 int nLen; //buff缓冲区(使用的)大小 ULONG nSequenceNumber;//此I/O的序列号 int nOperation; //操作类型 CIOCPBuffer *pNext; }; //per-Handle数据,它包含了一个套接字的信息 struct CIOCPContext { SOCKET s; //套接字句柄 SOCKADDR_IN addrLocal; //连接的本地地址 SOCKADDR_IN addrRemote;//连接的远程地址 BOOL bClosing; //套接字是否关闭 int nOutStandingRecv; //此套接字上抛出的重叠操作的数量 int nOutStandingSend; ULONG nReadSequence; //安排给接受的下一个序列号 ULONG nCurrentReadSequence;//当前要读的序列号 CIOCPBuffer *pOutOfOrderReads;//记录没有按顺序完成的读I/O CRITICAL_SECTION Lock; //保护这个结构 CIOCPContext *pNext; }; class CIOCPServer //处理线程 { public: CIOCPServer(void); ~CIOCPServer(void); //开始服务 BOOL Start(int nPort=4567,int nMaxConnections=2000, int nMaxFreeBuffers=200,int nMaxFreeContexts=100,int nInitialReads=4); //停止服务 void Shutdown(); //关闭一个连接和关闭所有连接 void CloseAConnection(CIOCPContext *pContext); void CloseAllConnection(); //取得当前的连接数量 ULONG GetCurrentConnection() { return m_nCurrentConnection; }; //向指定客户发送文本 BOOL SendText(CIOCPContext *pContext,char *pszText,int nLen); protected: //申请和释放缓冲区对象 CIOCPBuffer*AllocateBuffer(int nLen); void ReleaseBuffer(CIOCPBuffer *pBuffer); //申请和释放套接字上下文 CIOCPContext *AllocateContext(SOCKET s); void ReleaseContext(CIOCPContext *pContext); //释放空闲缓冲区对象列表和空闲上下文对象列表 void FreeBuffers(); void FreeContexts(); //向连接列表中添加一个连接 BOOL AddAConnection(CIOCPContext *pContext); //插入和移除未决的接受请求 BOOL InsertPendingAccept(CIOCPBuffer *pBuffer); BOOL RemovePendingAccept(CIOCPBuffer *pBuffer); //取得下一个要读取的 CIOCPBuffer *GetNextReadBuffer(CIOCPContext *pContext,CIOCPBuffer *pBuffer); //投递接受I/O,发送I/0,接受I/O BOOL PostAccept(CIOCPBuffer *pBuffer); BOOL PostSend(CIOCPContext *pContext,CIOCPBuffer *pBuffer); BOOL PostRecv(CIOCPContext *pContext,CIOCPBuffer *pBuffer); //事件通知函数 void HandleIO(DWORD dwKey,CIOCPBuffer *pBuffer,DWORD dwTrans,int nError); //建立一个新的连接 virtual void OnConnectionEstablished(CIOCPContext *pContext,CIOCPBuffer*); //一个连接关闭 virtual void OnConnectionClosing(CIOCPContext *pContext,CIOCPBuffer*); //在一个连接上发生错误 virtual void OnConnectionError(CIOCPContext *pContext,CIOCPBuffer*,int nError); //在一个连接上的读操作完成 virtual void OnReadCompleted(CIOCPContext *pContext,CIOCPBuffer*); //在一个连接上操作完成 virtual void OnWriteCompleted(CIOCPContext *pContext,CIOCPBuffer*); protected: //记录空闲结构信息 CIOCPBuffer *m_pFreeBufferList; CIOCPContext *m_pFreeContextList; int m_nFreeBufferCount; int m_nFreeContextCount; CRITICAL_SECTION m_FreeBufferListLock; CRITICAL_SECTION m_FreeContextListLock; //记录抛出的Accept请求 CIOCPBuffer *m_pPendingAccepts; long m_nPendingAcceptCount; CRITICAL_SECTION m_PendingAcceptsLock; //记录连接列表 CIOCPContext *m_pConnectionList; int m_nCurrentConnection; CRITICAL_SECTION m_ConnectionListLock; //用于投递Accept请求 HANDLE m_hAcceptEvent; HANDLE m_hRepostEvent; LONG m_nRepostCount; //服务器监听端口 int m_nPort; int m_nInitialAccepts; int m_nInitialReads; int m_nMaxAccepts; int m_nMaxSends; int m_nMaxFreeBuffers; int m_nMaxFreeContexts; int m_nMaxConnections; //监听线程 HANDLE m_hListenThread; //完成端口句柄 HANDLE m_hCompletion; //监听套接字句柄 SOCKET m_sListen; //AcceptEx函数地址 LPFN_ACCEPTEX m_lpfnAcceptEx; //GetAcceptExSockaddrs函数地址 LPFN_GETACCEPTEXSOCKADDRS m_lpfnGetAcceptExSockaddrs; //用于通知监听线程退出 BOOL m_bShutDown; //记录服务是否启动 BOOL m_bServerStarted; private://线程函数 static DWORD WINAPI _ListenThreadProc(LPVOID lpParam); static DWORD WINAPI _WorkerThreadProc(LPVOID lpParam); }; #endif // !defined(AFX_IOCPSERVER_H__3BBFA68A_31AC_42BB_806B_0D858AF0A861__INCLUDED_)
最近有项目要做一个高性能网络服务器,决定下功夫搞定完成端口(IOCP),最终花了一个星期终于把它弄清楚了,并用C++了一个版本,效率很不错。 但,从项目的总体需求来考虑,最终决定上.net平台,因此又花了一天一夜弄出了一个C#版,在这与大家分享。 一些心得体会: 1、在C#中,不用去面对完成端口的操作系统内核对象,Microsoft已经为我们提供了SocketAsyncEventArgs类,它封装了IOCP的使用。请参考:http://msdn.microsoft.com/zh-cn/library/system.net.sockets.socketasynceventargs.aspx?cs-save-lang=1&cs-lang=cpp#code-snippet-1。 2、我的SocketAsyncEventArgsPool类使用List对象来存储对客户端来通信的SocketAsyncEventArgs对象,它相当于直接使用内核对象的IoContext。我这样设计比用堆栈来实现的好处理是,我可以在SocketAsyncEventArgsPool池中找到任何一个与服务器连接的客户,主动向它发信息。而用堆栈来实现的话,要主动给客户发信息,则还要设计一个结构来存储已连接上服务器的客户。 3、对每一个客户端不管还发送还是接收,我使用同一个SocketAsyncEventArgs对象,对每一个客户端来说,通信是同步进行的,也就是说服务器高度保证同一个客户连接上要么在投递发送请求,并等待;或者是在投递接收请求,等待中。本例只做echo服务器,还未考虑由服务器主动向客户发送信息。 4、SocketAsyncEventArgs的UserToken被直接设定为被接受的客户端Socket。 5、没有使用BufferManager 类,因为我在初始化给每一个SocketAsyncEventArgsPool中的对象分配一个缓冲区,发送使用Arrary.Copy来进行字符拷贝,不去改变缓冲区的位置,只改变使用的长度,因此在下次投递接收请求恢复缓冲区长度就可以了!如果要主动给客户发信息的话,可以new一个SocketAsyncEventArgs对象,或者在初始化中建立几个来专门用于主动发送信息,因为这种需求一般是进行信息群发,建立一个对象可以用于很多次信息发送,总体来看,这种花销不大,还减去了字符拷贝和消耗。 6、测试结果:(在我的笔记本上行的,我的本本是T420 I7 8G内存) 100客户 100,000(十万次)不间断的发送接收数据(发送和接收之间没有Sleep,就一个一循环,不断的发送与接收) 耗3004.6325 秒完成 总共 10,000,000 一千万次访问 平均每分完成 199,691.6 次发送与接收 平均每秒完成 3,328.2 次发送与接收 整个运行过程中,内存消耗在开始两三分种后就保持稳定不再增涨。 看了一下对每个客户端的延迟最多不超过2秒。
完成端口通讯服务器(IOCP Socket Server)设计 (六)功能强大的IOCP Socket Servre模块例程源码 Copyright © 2009 代码客(卢益贵)版权所有 QQ:48092788 源码博客:http://blog.csdn.net/guestcode 一、声明 版权声明: 1、通讯模块代码版权归作者所有; 2、未经许可不得全部或部分用于任何项目开发; 3、未经许可不得部分修改后再利用源码。 免责声明: 1、 由于设计缺陷或其它Bug造成的后果,作者不承担责任; 2、未经许可的使用作者不提供任何技术支持服务。 权利和义务: 1、任何获得源码并发现Bug的个人或单位均有义务向作者反映; 2、作者保留追究侵权者法律责任的权利。 二、开发背景 部分代码由前项目分离而来,尚未有应用考验,但对于初学者学习和进阶有很大帮助。性能上尚未有定论,但应该不会令你失望。 三、功能说明 1、可以关闭Socket的Buffer; 2、可以关闭MTU(不等待MTU满才发送); 3、可以多IP或多端口监听; 4、可以重用socket(主动关闭除外); 5、可以0缓冲接收(Socket的Buffe = 0,避免过多的锁定内存页); 6、可以0缓冲连接(客户端仅连接,不一定立即发数据); 7、可以条件编译: a、是否使用内核Singly-linked lists; b、是否使用处理线程(工作线程和处理线程分开); c、是否使用内核锁来同步链表。 8、可以实现集群服务器模式的通讯(有客户端socket); 9、可以单独设置每个连接的Data项来实现连接和Usernfo的关联; 10、每个线程有OnBegin和OnEnd,用于设置线程独立的对象(数据库会话对象); 11、可以提供详细的运行情况,便于了解IOCP下的机制,以及进行调试分析; 12、可以发起巨量连接和数据(需要硬件配置来支持)。
以下是一个可能的实现: ```c++ #include <string> #include <iostream> class RefCount { private: int count; int weakCount; public: RefCount() : count(0), weakCount(0) {} void addRef() { count++; } void release() { count--; if (count == 0) delete this; } void addWeakRef() { weakCount++; } void releaseWeak() { weakCount--; if (weakCount == 0 && count == 0) delete this; } }; class KString { private: std::string* str; RefCount* refCount; public: KString() : str(new std::string()), refCount(new RefCount()) { refCount->addRef(); } KString(const char* s) : str(new std::string(s)), refCount(new RefCount()) { refCount->addRef(); } KString(const std::string& s) : str(new std::string(s)), refCount(new RefCount()) { refCount->addRef(); } KString(const KString& other) : str(other.str), refCount(other.refCount) { refCount->addRef(); } ~KString() { refCount->release(); } KString& operator=(const KString& other) { if (this != &other) { refCount->release(); str = other.str; refCount = other.refCount; refCount->addRef(); } return *this; } char& operator[](int i) { if (refCount->count > 1) { refCount->release(); str = new std::string(*str); refCount = new RefCount(); refCount->addRef(); } return (*str)[i]; } const char& operator[](int i) const { return (*str)[i]; } }; int main() { KString s1("hello"); KString s2 = s1; std::cout << s1[1] << std::endl; // 'e' std::cout << s2[1] << std::endl; // 'e' s1[1] = 'a'; std::cout << s1[1] << std::endl; // 'a' std::cout << s2[1] << std::endl; // 'e' return 0; } ``` 这个实现中,KString类包含一个指向std::string的指针和一个指向RefCount的指针。RefCount类用于记录当前对象的引用计数和弱引用计数,当引用计数为0会自动删除对象。KString类的默认构造函数和带参构造函数会创建一个新的std::string对象和一个新的RefCount对象,并将引用计数加一。拷贝构造函数和赋值运算符会将指针和引用计数从另一个KString对象复制过来,并将引用计数加一。KString类还重载了[]运算符,当引用计数大于1会进行拷贝,即复制一个新的std::string对象并将引用计数设为1,然后再进行修改。这样可以确保只有当一个KString对象确实需要修改才会进行拷贝,从而避免了不必要的性能开销。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值