高性能并发服务器模型设计思路（epoll+线程池）

最新推荐文章于 2024-04-29 10:13:57 发布
最新推荐文章于 2024-04-29 10:13:57 发布
阅读量368 收藏
点赞数
文章标签： 服务器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shujsvhab/article/details/131734823
版权

V1：单线程，单监听套接字

        socket创建完毕后，创建epoll池，并将监听套接字放到线程池中，开始死循环进入epoll_wait等待状态，每当池子有活动时，将非监听套接字的收到的消息读取后，加入到任务队列，由线程池里的线程对数据进行解析，解析完成后，将待发送的数据放到任务队列队列中，返回给send处理。（池子里的套接字都设置为非阻塞）

       这里为什么不将非监听套接字的fd直接扔到线程池？

                因为这里的套接字都是非阻塞的，收到一条数据，会交给一条线程处理，如果该数据未被处理完毕，又发送另外一条数据，服务器会把该套接字交给另一个线程处理，造成多个套接字被多个线程共享，产生资源竞争，会引发一些不可预料的错误，比如可能会导致数据的重复读取或者丢失等，也会造成非必要的上下文切换的开销。

                如果是阻塞io，可以直接将fd丢到线程池里。

V2：单线程，多监听套接字

        先创建一个epoll池，for循环创建多个socket，分别绑定不同的端口号，并将每个套接字，进入监听状态，再把每个套接字放到这一个epoll池里，然后while(1）进入epoll_wait等待状态，其他步骤同上

V3：多线程，多epoll池，多监听套接字

        开始创建多个线程，每个线程分别创建一个监听套接字，和一个epoll池，并分别将监听套接字放入到对应的epoll池里，每个线程里的处理同上。

实现方法很多，还有多线程，但监听套接字，单epoll池，需要考虑线程安全问题，多进程实现等等

                

一只快乐的哈士奇
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
epoll+线程池
06-12
Linux + C + Epoll实现高并发服务器，运用线程池技术。
Linux + C + Epoll实现高并发服务器(线程池 + 数据库连接池)
09-27
在Linux 系统下面用C 语言实现的高并发服务器的代码，具体用到了Epoll，线程池，数据库连接池。 具体可以看下连接http://blog.csdn.net/wuyuxing24/article/details/48758927
epoll加线程池
qq_43477710的博客
11-22 979
#include<unistd.h> #include <cstdio> #include<sys/socket.h> #include<sys/epoll.h> #include<arpa/inet.h> #include<netinet/in.h> #include<fcntl.h> #include<pthread.h> #include<stdlib.h> #include<memory
【Epoll】epoll+线程池实现高并发（C++）--编辑中
bandaoyu的note
06-21 2254
在epoll编程中，有三个非常重要的函数： 1. int epoll_create(int size):创建epoll 句柄， 入参是表示监听的数目是多大。 2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)： 事件注册函数， @param1：epoll句柄，epoli_create()的返回值， @param2： 表示注册的行为， 有ADD事件 、MOD事件、DEL事件，...
Linux简单高并发模型——Epoll + 线程池
XD
04-16 8926
首先是一个locker.h的文件，封装了信号量、互斥量、条件变量。 在线程池中的任务队列需要互斥量的保护，当任务队列中有任务到达时，需要唤醒一个等待pthread_cond_wait()的线程，线程池停止时，需要唤醒所以的线程，调用的是pthread_cond_broadcast()。 locker.h文件： #ifndef _LOCKER_H_ #define _LOCKER_H_
Linux- C语言服务器简单模型（epoll+线程池）
四年rain的博客
10-29 1744
使用epoll的缘由： 当多个任务到来时需要对其进行及时响应，并将任务下发给特定的处理线程，完成对应的任务。如果只用单线程进行listen轮询监听的话，那效率上实在是太低。而我们借助epoll的话就会很完美的解决这个问题（epoll详细太过复杂，而且这里主要目的是使用epoll，所以就不再赘述）。 使用线程池的缘由： 当实现高并发服务器时，当然需要实现多线程并发工作来处理多个客户端的连接。那么方法有如下两种 每当客户端发送一个请求，服务器创建一个线程来处理客户端的连接请求。 先预先创建若干个线程，并让.
高并发高吞吐IO秘密武器——epoll池化技术
qq_40989769的博客
04-22 1357
epoll是Linux特有的IO复用函数，使用一组函数来完成任务，而不是单个函数。epoll把用户关心的文件描述符上的事件放在内核的一个事件表中，不需要像select、poll那样每次调用都要重复传入文件描述符集或事件集。epoll需要使用一个额外的文件描述符，来唯一标识内核中的时间表，由epoll_create创建。函数原型特别注意epoll_wait函数成功时返回就绪的文件描述符总数。select和poll返回文件描述符总数。
Linux网络编程（六）-高并发服务器04：epoll + 线程池
u013250861的博客
10-12 1302
【代码】Linux网络编程（六）-高并发服务器04：epoll + 线程池。
基于线程池+Epoll（IO多路复用）的高并发服务器（附C++源码）
iuu77的博客
11-28 4110
简介：这是一个基于线程池+Epoll的IO多路复用、非阻塞IO技术，的高并发服务器框架。称它为框架是因为服务器功能非常简单且无意义，使用时应该把这个功能替换掉。但它可以直接拿来使用，很方便，所以也算半个项目。服务器的默认功能：客户端输入什么内容，服务器就返回什么内容。后续想实现什么功能，修改功能函数就可以。语言标准：C++11。
epoll实现并发服务器
JiaYu的博客
06-14 1351
它采用了一种基于事件的工作方式，当文件描述符上有事件发生时，内核会通知应用程序，并将发生的事件放入一个事件列表中，应用程序可以通过读取该列表来获取已就绪的事件。的具体使用方式还取决于应用程序的需求和设计，上述示例代码只是一种基本的演示，实际应用中可能需要根据具体情况进行更详细和复杂的处理。的优势在于它能够高效处理大量的并发连接，并且对于大规模的并发应用程序来说，比传统的事件通知机制具有更好的性能。：等待就绪事件的发生，阻塞直到有事件发生，然后将就绪的事件填充到指定的事件列表中，返回就绪事件的数量。
使用epoll创建tcp并发服务器流程
qq_56542113的博客
02-21 424
使用epoll创建tcp并发服务器流程
Linux下Epoll+线程池的简单Web服务器
01-20
这是一个简单的web服务器利用Linux下的线程池技术和Epoll机制 简单粗略有不足的欢迎指导
C语言+epoll+线程池实现的聊天室.zip
10-15
C语言+epoll+线程池实现的聊天室.zip
WinForms 应用程序中使用 SignalR 连接到服务器
最新发布
一个专注于技术研究创新的程序员
04-29 295
假设您已经在服务器端实现了名为 SignalRHub 的 SignalR Hub，并且该 Hub 包含了一个名为 SendMessage 的方法，用于接收来自客户端的消息，并将其广播给所有连接的客户端。客户端在收到消息时调用名为 ReceiveMessage 的方法来处理。
3节点ubuntu24.04服务器docker-compose方式部署高可用elk+kafka日志系统并接入nginx日志
qq_41905051的博客
04-23 1215
3节点ubuntu24.04服务器docker-compose方式部署高可用elk+kafka日志系统并接入nginx日志
【勒索病毒恢复】.svh勒索病毒介绍及恢复方案
safe130的博客
04-23 823
halo，.360，.faust，.eking，.wis，.mkp，.malox，.rmallox，.mallox，ma1x0，.live，.carver，.locked，_locked，.locked1，.svh , lockbit, .datah等等，请注意，恢复被勒索病毒加密的数据并非总是成功，且过程中可能存在数据丢失或损坏的风险。为了防范svh勒索病毒的感染，用户应该保持警惕，不轻易打开未知来源的邮件附件或点击不明链接，同时定期更新和修补电脑上的软件漏洞，使用强密码，并启用防火墙等安全防护措施。
【Linux】文件目录及路径表示
m0_54666135的博客
04-23 447
在 Linux 系统中，有几个目录是比较重要的，平时需要注意不要误删除或者随意更改内部文件。 /etc： 这个是系统中的配置文件，如果更改了该目录下的某个文件可能会导致系统不能启动。 /bin, /sbin, /usr/bin, /usr/sbin: 这是系统预设的执行文件的放置目录，比如 ls 就是在 /bin/ls 目录下的。 值得提出的是 /bin、/usr/bin 是给系统用户使用的指令（除 root 外的通用用户），而/sbin, /usr/sbin 则是给 root 使用的指令。
【项目实战】基于高并发服务器的搜索引擎
m0_74215144的博客
04-24 1174
基于高并发服务器的搜索引擎，引用了第三方库cpp-httplib,cppjieba
linux kernel内存泄漏检测工具之slub debug
yanghao23的专栏
04-27 1086
ko中的实现基本就是将slub.c,slab_common.c中的依赖的结构体，函数等重写一下，注册好上面的两个hook函数，一个替换掉kmalloc_caches, 一个存储slub分配的调用栈，剩下的就是处理好编译报错，将/sys/kernel/debug/slab/XXX/alloc_traces 的实现用在新增的ko中，增加调试节点，即可完成动态开启slubdebug的功能。如果版本存在SLUB内存泄漏， 抓取/proc/slabinfo或者使用slabinfo 工具来确认泄漏的slub 类型;
Epoll+线程池工作原理
12-01
Epoll+线程池的工作原理如下： 1. 单线程创建epoll并等待，有I/O请求（socket）到达时，将其加入epoll并从线程池中取一个空闲工作者线程，将实际的业务交由工作者线程处理。 2. 当多个任务到来时，Epoll及时响应并将任务下发给特定的处理线程，完成对应的任务。 3. 如果只用单线程进行listen轮询监听的话，效率上实在是太低。而借助epoll的话就会很完美的解决这个问题。 4. 使用线程池的缘由是为了避免频繁创建和销毁线程，提高线程的复用率和效率。 代码示例： ```python import socket import threading import queue import select # 定义线程池类 class ThreadPool: def __init__(self, max_workers): self.max_workers = max_workers self._workers = [] self._task_queue = queue.Queue() self._init_workers() # 初始化线程池 def _init_workers(self): for i in range(self.max_workers): worker = threading.Thread(target=self._worker) worker.start() self._workers.append(worker) # 工作者线程 def _worker(self): while True: try: func, args, kwargs = self._task_queue.get() func(*args, **kwargs) except Exception as e: print(e) # 提交任务 def submit(self, func, *args, **kwargs): self._task_queue.put((func, args, kwargs)) # 定义服务端类 class Server: def __init__(self, host, port, max_workers): self.host = host self.port = port self.max_workers = max_workers self.server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) self.server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) self.server_socket.bind((self.host, self.port)) self.server_socket.listen(5) self.thread_pool = ThreadPool(self.max_workers) # 处理客户端请求 def handle_request(self, client_socket, client_address): print(f"Connected by {client_address}") while True: data = client_socket.recv(1024) if not data: break client_socket.sendall(data) client_socket.close() # 运行服务端 def serve_forever(self): print(f"Server is running on {self.host}:{self.port}") while True: client_socket, client_address = self.server_socket.accept() self.thread_pool.submit(self.handle_request, client_socket, client_address) # 运行服务端 if __name__ == '__main__': server = Server('localhost', 8888, 10) server.serve_forever() ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值