痛苦的epoll+线程池实践 1 程序架构

最新推荐文章于 2024-06-19 15:06:56 发布
最新推荐文章于 2024-06-19 15:06:56 发布
阅读量625 收藏
点赞数
文章标签： 数据结构 多线程 delete 服务器 游戏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/terminator3/article/details/7005620
版权
 
  感谢 《 经验实在太重要了：epoll的一些补充》
  我陷在epoll摸索的泥潭中，没有这个文章，不知道何时才能脱身；

  公司游戏网关原来使用单线程poll，从整体需求来说，支持 4000 在线客户端即可，初步感觉原有架构已足够使用；有瓶颈的话，适当调优即可；
  但是老大拍脑袋决定使用 epoll+线程池，个人又非常想摸索一下 epoll，而且这对提高系统性能有很大帮助，所以何乐而不为呢；

  实践中发现 epoll+线程池 自己摸索就很折腾，再加上把业务逻辑做到网关（每个连接绑定系统唯一UserName、如有重复登录需踢掉旧连接、连接

断开需通知到在线服务器），整个过程充满艰辛；
  一开始精力都耗费在多线程的业务逻辑上，如果程序从头写起，估计思路会清晰点；

  程序整体架构，分三块： 1、主线程 epoll；  2、线程池业务处理；  3、异步关闭连接线程
  主要数据结构：1、连接会话 ConnSession，包含 fd, 绑定username，数据缓存； 2、fd可读队列 3、连接会话ConnSession 关闭队列

  主线程：负责响应 epoll事件，将可读的fd 写到队列；
  线程池业务处理：阻塞在可读fd队列；有可读fd取出，根据fd 找到相应的 ConnSession，并做读取数据到ConnSession数据缓存，同时找到需转发

的ConnSession，转发；
  标志ConnSession 的关闭：任何有异常的连接，不能直接关闭及delete相应的ConnSession实例（因为线程池并发查找、处理ConnSession)；应先从

epoll清除该连接fd，同时将该ConnSession标识为即将关闭，并入到连接会话ConnSession 关闭队列；
  异步关闭连接线程：阻塞在连接会话ConnSession 关闭队列；判断该ConnSession是否已经标示即将关闭，且最后一次操作的时间需在3、4秒之气；

 如满足这些条件，将队列中的连接会话ConnSession ；否则将该ConnSession 入到队列末尾；
terminator3
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
epoll在多线程下的使用
xiaowenmu1的博客
05-11 8827
首先让我们思考一个问题，当一个进程正在阻塞在epoll_wait的时候，另一个线程调用epoll_ctl时会发生什么呢，这个动作安全吗？ 测试当epoll_wait期间另一个线程执行epoll_ctl是否安全 其实这种动作是安全的（测试平台为linux，内核为4.4版本），先看一下man里面的描述，可见是安全的。 1.下面让我们来测试一下，首先把fd2加入监听，然后再调用epoll_wa...
Linux下Epoll+线程池的简单Web服务器
01-20
这是一个简单的web服务器利用Linux下的线程池技术和Epoll机制 简单粗略有不足的欢迎指导
selector、epoll详解
sinat_38705282的博客
05-15 1978
文章目录基础一、Selector1.1 原理1.2 示例二、epoll2.1 原理2.2 示例2.3 总体流程三、Reactor 基础 首先，我们要明确同步、异步的层级。在这里讨论经常会出现各种同步、异步的概念让人迷惑，例如Netty用的是多路复用，而多路复用是同步非阻塞的I/O模型，但是Netty却宣称自己是异步的处理框架。其实这都是因为这里的同步、异步是针对不同线程，不同层级来说的。 同步、异步在I/O模型中是针对I/O线程的，但是在后面的Reactor模型中是针对业务线程。所以Netty是一个异步框架
服务器6种epoll用法
ZERO的博客
05-16 910
服务器6种epoll用法 前言：网络Socket 服务器socket是什么：其一，这是一个文件；其二，它里面存的是所有客户端 Socket 文件的文件描述符。 客户端连接服务器过程： 当一个客户端连接到服务端的时候，操作系统就会创建一个客户端 Socket 的文件。 然后操作系统将这个文件的文件描述符写入服务端程序创建的服务端 Socket 文件中。 服务端 Socket 文件，是一个管道文件。 如果读取这个文件的内容，就相当于从管道中取走了一个客户端文件描述符。 [外链图片转存失败,源站可能有防盗
epoll多进程服务器架构模型
征途开始的小窝(^_^)
08-07 912
epoll 1进程(listen) + n进程(accept+epoll_wait+处理) 模型 1、代表开源产品：nginx 2、基本原理：(依据nginx的设计分析) 1）master进程监听新连接的到来，并让其中一个worker进程accept。这里需要处理惊群效应问题，详见nginx的accept_mutex设计 2）worker进程accept到fd之后，把fd注册到到本进程的e...
epoll+线程池
06-12
Linux + C + Epoll实现高并发服务器，运用线程池技术。
C语言+epoll+线程池实现的聊天室.zip
06-13
C语言+epoll+线程池实现的聊天室
epoll的本质
witton的专栏
04-24 672
从事服务端开发，少不了要接触网络编程。epoll作为linux下高性能网络服务器的必备技术至关重要，nginx、redis、skynet和大部分游戏服务器都使用到这一多路复用技术。 因为epoll的重要性，不少游戏公司在招聘服务端同学时，会问及epoll相关的问题。比如epoll和select的区别是什么？epoll高效率的原因是什么？如果只靠背诵，显然不能算上深刻的理解。 网上虽然也有不少讲解e...
单个 epoll + 线程池与每个线程一个 epoll 这两种架构哪个更适合大量短连接的场景？
yangzai187的专栏
06-28 890
转：https://www.zhihu.com/question/271561199/answer/374711772 问题： 不少教程上都提到线程池适合大量的网络短连接的任务场景。但我总感觉这个优势有点站不住脚（单 epoll + 线程池模型），主要考虑到两点： 线程池的实现机制使得需要引入锁管理线程调度，这个开销在 per thread per epoll 模型中是不需要的。 大量的短...
单进程、单线程、非阻塞、长连接与epoll
qq_44739762的博客
11-16 351
长/短连接操作过程 短连接操作步骤：建立连接——数据传输——关闭连接…建立连接——数据传输——关闭连接 长连接操作步骤：建立连接——数据传输…（保持连接）…数据传输——关闭连接 单进程、单线程、长连接实现非阻塞 服务器在accept 等待客户端建立连接的时候，默认是堵塞的，我们只能为当前客户端服务结束之后才能为下一个客户端服务 如果为当前客户端服务时间较长，其他客户端就得等待很久，这会大大降...
从redis为什么单线程还那么快到epoll的设计原理
yyoc97的专栏
01-04 4648
文章目录redis为什么快上下文切换为什么采用单线程redis的I/O多路复用epoll与select/poll区别select/poll的几大缺点用户态拷贝到内核态epoll IO多路复用模型实现机制epoll 优势详解底层实现总结 redis为什么快 Redis采用的是基于内存的采用的是单进程单线程模型的 KV 数据库，由C语言编写，官方提供的数据是可以达到100000+的QPS（每秒内查询次...
高并发架构系列：Redis为什么是单线程、及高并发快的3大原因详解 ...
weixin_34321753的博客
12-17 125
Redis的高并发和快速原因 1.redis是基于内存的，内存的读写速度非常快；2.redis是单线程的，省去了很多上下文切换线程的时间；3.redis使用多路复用技术，可以处理并发的连接。非阻塞IO 内部实现采用epoll，采用了epoll+自己实现的简单的事件框架。epoll中的读、写、关闭、连接都转化成了事件，然后利用epoll的多路复用特性，绝不...
如何与多个线程的操作epoll fd
weixin_34419326的博客
06-22 219
       自己曾经做一个接口server时候，这样的场景下我的设计是多个线程操作同一个epoll fd。彼时，我的理由是epoll的系列函数是线程安全的。        当然有人不理解为什么会有多个线程操作同一个epoll fd的情形，这里略微铺陈一下接口server的场景。epoll fd有线程1维护，监听服务端port的socket的accept出来的acceptor（即...
数据结构：3.3.3层序遍历
Aufidius的博客
06-16 122
用堆栈来保存：自己或者右儿子（在堆栈里实现的是保存自己这个结点）。用堆栈保存的过程：自己访问完了访问左儿子，把自己保存起来，这样将来回来的时候可以去访问右儿子。二叉树转为一维序列过程中的一个问题：一个结点只关联两个结点，访问了其中的一个另一个怎么办，另一个要把它存起来。如果不访问父亲结点是访问不到左儿子和右儿子的，如果把父亲忘了左右儿子也是找不到的。用队列来保存：保存的是未来要访问的结点（也就是右儿子结点）。二叉树的核心问题：把二维的结构变为一维的线性序列。采用不同的方法就会产生不同的一维的序列。
平衡查找树(数据结构篇)
hellmorning的博客
06-19 1022
讲解数据结构之AVL树(平衡查找树)
数据结构：小白专场：树的同构2程序框架、建树及同构判别
最新发布
Aufidius的博客
06-19 81
为了处理方便，三个信息读入的时候都处理成字符的方式读进来，left和right再把字符处理整数再放到left和right里面去。上一篇文章介绍过一种思路，扫描一下 所有结点，看哪个结点没有被其他结点的left right指向。（把left从字符处理成整数再放到T[i].Left中去）T1T2是之前提到的结构数组，是全局变量，作为参数传进去。调用Ismorphic这个函数判断R1R2是不是同构的。知道n之后，n不为0，循环，循环一次读入一行数据。check用的是一个数组吗。
数据结构：第三讲 树（上）小测验：树的遍历
Aufidius的博客
06-16 127
（2）利用根在中序中分左右子树。
LSM-Tree数据结构原理
qq_32168087的博客
06-19 628
LSM-Tree 即，这是一种分层有序，硬盘友好的数据结构。核心思想是利用磁盘顺序写性能远高于随机写。LSM-Tree 并不是一种严格的树结构，而是一种内存+磁盘的多层存储结构。HBase、LevelDB、RocksDB这些 NoSQL 存储都使用了 LSM-Tree。LSM Tree（Log Structure Merge Tree）是一种数据结构，是一种基于日志追加写、有一定结构、并且会merge合并的树（数据结构）特点利用磁盘批量的顺序写要远比随机写性能高出很多来支持随机读写操作。
Epoll+线程池工作原理
12-01
Epoll+线程池的工作原理如下： 1. 单线程创建epoll并等待，有I/O请求（socket）到达时，将其加入epoll并从线程池中取一个空闲工作者线程，将实际的业务交由工作者线程处理。 2. 当多个任务到来时，Epoll及时响应并将任务下发给特定的处理线程，完成对应的任务。 3. 如果只用单线程进行listen轮询监听的话，效率上实在是太低。而借助epoll的话就会很完美的解决这个问题。 4. 使用线程池的缘由是为了避免频繁创建和销毁线程，提高线程的复用率和效率。 代码示例： ```python import socket import threading import queue import select # 定义线程池类 class ThreadPool: def __init__(self, max_workers): self.max_workers = max_workers self._workers = [] self._task_queue = queue.Queue() self._init_workers() # 初始化线程池 def _init_workers(self): for i in range(self.max_workers): worker = threading.Thread(target=self._worker) worker.start() self._workers.append(worker) # 工作者线程 def _worker(self): while True: try: func, args, kwargs = self._task_queue.get() func(*args, **kwargs) except Exception as e: print(e) # 提交任务 def submit(self, func, *args, **kwargs): self._task_queue.put((func, args, kwargs)) # 定义服务端类 class Server: def __init__(self, host, port, max_workers): self.host = host self.port = port self.max_workers = max_workers self.server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) self.server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) self.server_socket.bind((self.host, self.port)) self.server_socket.listen(5) self.thread_pool = ThreadPool(self.max_workers) # 处理客户端请求 def handle_request(self, client_socket, client_address): print(f"Connected by {client_address}") while True: data = client_socket.recv(1024) if not data: break client_socket.sendall(data) client_socket.close() # 运行服务端 def serve_forever(self): print(f"Server is running on {self.host}:{self.port}") while True: client_socket, client_address = self.server_socket.accept() self.thread_pool.submit(self.handle_request, client_socket, client_address) # 运行服务端 if __name__ == '__main__': server = Server('localhost', 8888, 10) server.serve_forever() ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值