python epoll 并发_高并发的epoll+线程池，epoll在线程池内

最新推荐文章于 2024-03-01 21:05:52 发布
最新推荐文章于 2024-03-01 21:05:52 发布
阅读量137 收藏
点赞数
文章标签： python epoll 并发

#include

#include

#include

#include

#include

#include

#include

#include

#include

#include

#include

#include

#include

//stl head

#include //包含hash_map 的头文件

//#include //stl的map

using namespace std; //std 命名空间

using namespace __gnu_cxx; //而hash_map是在__gnu_cxx的命名空间里的

int init_thread_pool(int threadNum);

void *epoll_loop(void* para);

void *check_connect_timeout(void* para);

struct sockStruct

{

time_t time;

unsigned int* recvBuf;

};

//hash-map

//hash_mapsock_map;

hash_map sock_map;

#define MAXRECVBUF 4096

#define MAXBUF MAXRECVBUF+10

int fd_Setnonblocking(int fd)

{

int op;

op=fcntl(fd,F_GETFL,0);

fcntl(fd,F_SETFL,op|O_NONBLOCK);

return op;

}

void on_sigint(int signal)

{

exit(0);

}

/*

handle_message - 处理每个 socket 上的消息收发

*/

int handle_message(int new_fd)

{

char buf[MAXBUF + 1];

char sendbuf[MAXBUF+1];

int len;

/* 开始处理每个新连接上的数据收发 */

bzero(buf, MAXBUF + 1);

/* 接收客户端的消息 */

//len = recv(new_fd, buf, MAXBUF, 0);

int nRecvBuf = MAXRECVBUF; //设置为32K

setsockopt(new_fd, SOL_SOCKET, SO_RCVBUF, ( const char* )&nRecvBuf, sizeof(int));

len=recv(new_fd,&buf, MAXBUF,0);

//--------------------------------------------------------------------------------------------

//这块为了使用ab测试

char bufSend[1000] = {0};

sprintf(bufSend,"HTTP/1.0 200 OK\r\nContent-type: text/plain\r\n\r\n%s","Hello world!\n");

send(new_fd,bufSend,strlen(buf),0);

//--------------------------------------------------------------------------------------------

if (len > 0){

//printf ("%d接收消息成功:'%s'，共%d个字节的数据\n", new_fd, buf, len);

//hash-map

hash_map::iterator it_find;

it_find = sock_map.find(new_fd);

if(it_find == sock_map.end()){

//新的网络连接，申请新的接收缓冲区，并放入map中

//printf("new socket %d\n", new_fd);

sockStruct newSockStruct;

newSockStruct.time = time((time_t*)0);

newSockStruct.recvBuf = (unsigned int*)malloc(1000);

memset(newSockStruct.recvBuf, 0, 1000);

strcat((char*)newSockStruct.recvBuf, buf);

sock_map.insert(pair(new_fd, newSockStruct));

}else{

//网络连接已经存在，找到对应的数据缓冲区，将接收到的数据拼接到数据缓冲区中

//printf("socket %d exist!\n", it_find->first);

(it_find->second).time = time((time_t*)0); //时间更改

char* bufSockMap = (char*)(it_find->second).recvBuf; //数据存储

strcat(bufSockMap, buf);

//printf("bufSockMap:%s\n", bufSockMap);

}

}

else {

if (len < 0)

printf ("消息接收失败！错误代码是%d，错误信息是'%s'\n",

errno, strerror(errno));

else {

//将socket从map中移除

/*

hash_map::iterator it_find;

it_find = sock_map.find(new_fd);

sock_map.erase(it_find);

*/

printf("client %d quit!\n",new_fd);

}

//close(new_fd);

return -1;

}

/* 处理每个新连接上的数据收发结束 */

//关闭socket的时候，要释放接收缓冲区。

hash_map::iterator it_find;

it_find = sock_map.find(new_fd);

free((it_find->second).recvBuf);

sock_map.erase(it_find);

close(new_fd);

return len;

}

int listenfd;

int sock_op=1;

struct sockaddr_in address;

struct epoll_event event;

struct epoll_event events[1024];

int epfd;

int n;

int i;

char buf[512];

int off;

int result;

char *p;

int main(int argc,char* argv[])

{

init_thread_pool(1);

signal(SIGPIPE,SIG_IGN);

signal(SIGCHLD,SIG_IGN);

signal(SIGINT,&on_sigint);

listenfd=socket(AF_INET,SOCK_STREAM,0);

setsockopt(listenfd,SOL_SOCKET,SO_REUSEADDR,&sock_op,sizeof(sock_op));

memset(&address,0,sizeof(address));

address.sin_addr.s_addr=htonl(INADDR_ANY);

address.sin_port=htons(8006);

bind(listenfd,(struct sockaddr*)&address,sizeof(address));

listen(listenfd,1024);

fd_Setnonblocking(listenfd);

epfd=epoll_create(65535);

memset(&event,0,sizeof(event));

event.data.fd=listenfd;

event.events=EPOLLIN|EPOLLET;

epoll_ctl(epfd,EPOLL_CTL_ADD,listenfd,&event);

while(1){

sleep(1000);

}

return 0;

}

/*************************************************

* Function: * init_thread_pool

* Description: * 初始化线程

* Input: * threadNum:用于处理epoll的线程数

* Output: *

* Others: * 此函数为静态static函数,

*************************************************/

int init_thread_pool(int threadNum)

{

int i,ret;

pthread_t threadId;

//初始化epoll线程池

for ( i = 0; i < threadNum; i++)

{

ret = pthread_create(&threadId, 0, epoll_loop, (void *)0);

if (ret != 0)

{

printf("pthread create failed!\n");

return(-1);

}

}

ret = pthread_create(&threadId, 0, check_connect_timeout, (void *)0);

return(0);

}

/*************************************************

* Function: * epoll_loop

* Description: * epoll检测循环

* Input: *

* Output: *

* Others: *

*************************************************/

static int count111 = 0;

static time_t oldtime = 0, nowtime = 0;

void *epoll_loop(void* para)

{

while(1)

{

n=epoll_wait(epfd,events,4096,-1);

//printf("n = %d\n", n);

if(n>0)

{

for(i=0;i

{

if(events[i].data.fd==listenfd)

{

while(1)

{

event.data.fd=accept(listenfd,NULL,NULL);

if(event.data.fd>0)

{

fd_Setnonblocking(event.data.fd);

event.events=EPOLLIN|EPOLLET;

epoll_ctl(epfd,EPOLL_CTL_ADD,event.data.fd,&event);

}

else

{

if(errno==EAGAIN)

break;

}

}

}

else

{

if(events[i].events&EPOLLIN)

{

//handle_message(events[i].data.fd);

char recvBuf[1024] = {0};

int ret = 999;

int rs = 1;

while(rs)

{

ret = recv(events[n].data.fd,recvBuf,1024,0);// 接受客户端消息

if(ret < 0)

{

//由于是非阻塞的模式,所以当errno为EAGAIN时,表示当前缓冲区已无数据可//读在这里就当作是该次事件已处理过。

if(errno == EAGAIN)

{

printf("EAGAIN\n");

break;

}

else{

printf("recv error!\n");

epoll_ctl(epfd, EPOLL_CTL_DEL, events[i].data.fd, &event);

close(events[i].data.fd);

break;

}

}

else if(ret == 0)

{

// 这里表示对端的socket已正常关闭.

rs = 0;

}

if(ret == sizeof(recvBuf))

rs = 1; // 需要再次读取

else

rs = 0;

}

if(ret>0){

count111 ++;

struct tm *today;

time_t ltime;

time( &nowtime );

if(nowtime != oldtime){

printf("%d\n", count111);

oldtime = nowtime;

count111 = 0;

}

char buf[1000] = {0};

sprintf(buf,"HTTP/1.0 200 OK\r\nContent-type: text/plain\r\n\r\n%s","Hello world!\n");

send(events[i].data.fd,buf,strlen(buf),0);

// CGelsServer Gelsserver;

// Gelsserver.handle_message(events[i].data.fd);

}

epoll_ctl(epfd, EPOLL_CTL_DEL, events[i].data.fd, &event);

close(events[i].data.fd);

}

else if(events[i].events&EPOLLOUT)

{

sprintf(buf,"HTTP/1.0 200 OK\r\nContent-type: text/plain\r\n\r\n%s","Hello world!\n");

send(events[i].data.fd,buf,strlen(buf),0);

/*

if(p!=NULL)

{

free(p);

p=NULL;

}

*/

close(events[i].data.fd);

}

else

{

close(events[i].data.fd);

}

}

}

}

}

}

/*************************************************

* Function: * check_connect_timeout

* Description: * 检测长时间没反应的网络连接，并关闭删除

* Input: *

* Output: *

* Others: *

*************************************************/

void *check_connect_timeout(void* para)

{

hash_map::iterator it_find;

for(it_find = sock_map.begin(); it_find!=sock_map.end(); ++it_find){

if( time((time_t*)0) - (it_find->second).time > 120){ //时间更改

free((it_find->second).recvBuf);

sock_map.erase(it_find);

close(it_find->first);

}

}

}

weixin_39540315
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
epoll+线程池
06-12
Linux + C + Epoll实现高并发服务器，运用线程池技术。
epoll加线程池
qq_43477710的博客
11-22 1014
#include<unistd.h> #include <cstdio> #include<sys/socket.h> #include<sys/epoll.h> #include<arpa/inet.h> #include<netinet/in.h> #include<fcntl.h> #include<pthread.h> #include<stdlib.h> #include<memory
python epoll 并发_python实现并发服务器实现方式(多线程/多进程/select/epoll)
weixin_39619433的博客
11-28 113
并发服务器开发并发服务器开发，使得一个服务器可以近乎同一时刻为多个客户端提供服务。实现并发的方式有多种，下面以多进程，多线程，IO多路复用等方式实现并发。这里使用网络编程中的TCP服务器和客户端通信为例子。多进程并发阻塞利用进程把客户端和服务器进行管理，当有新的客户端连接到服务器时，就创建一个新的进程来管理，通过操作系统的调度，从而实现了并发的操作from multiprocessing impo...
高性能并发服务器模型设计思路（epoll+线程池）
一只快乐的哈士奇
07-15 451
因为这里的套接字都是非阻塞的，收到一条数据，会交给一条线程处理，如果该数据未被处理完毕，又发送另外一条数据，服务器会把该套接字交给另一个线程处理，造成多个套接字被多个线程共享，产生资源竞争，会引发一些不可预料的错误，比如可能会导致数据的重复读取或者丢失等，也会造成非必要的上下文切换的开销。先创建一个epoll池，for循环创建多个socket，分别绑定不同的端口号，并将每个套接字，进入监听状态，再把每个套接字放到这一个epoll池里，然后while(1）进入epoll_wait等待状态，其他步骤同上。
基于线程池+Epoll（IO多路复用）的高并发服务器（附C++源码）
iuu77的博客
11-28 4708
简介：这是一个基于线程池+Epoll的IO多路复用、非阻塞IO技术，的高并发服务器框架。称它为框架是因为服务器功能非常简单且无意义，使用时应该把这个功能替换掉。但它可以直接拿来使用，很方便，所以也算半个项目。服务器的默认功能：客户端输入什么内容，服务器就返回什么内容。后续想实现什么功能，修改功能函数就可以。语言标准：C++11。
python_epoll_timer.rar
09-30
在IT领域，尤其是在网络编程和高并发处理中，`epoll`是一个非常关键的I/O多路复用技术，主要用于Linux系统。`Python`虽然不是原生支持epoll的，但通过`ctypes`库或者第三方库如`selectors`可以方便地调用底层的epoll...
python_epoll_test.tar.gz_python 传递_python 服务器
09-14
在IT领域，特别是网络编程中，`epoll`是一个关键的概念，它被广泛应用于高性能、高并发的服务端程序...对于任何对网络编程感兴趣或者需要构建高并发服务的人来说，掌握`epoll`及其在Python中的应用是非常有价值的技能。
python使用epoll实现服务端的方法
09-20
在Python网络编程中，`epoll`是一种高效的数据I/O多路复用技术，尤其适用于高并发的服务端应用。本文将详细介绍如何使用`epoll`实现Python服务端的方法。 首先，导入必要的模块： ```python import socket import ...
python-epoll-examples
10-08
Python中的epoll是用于处理高并发I/O操作的高效机制，尤其在服务器编程中非常关键。它是Linux内核提供的一个接口，主要用于解决多路复用I/O问题，比如网络编程中的socket通信。在这个"python-epoll-examples"压缩包...
python高并发异步服务器核心库forkcore使用方法
01-20
1 拷贝下面的代码到一个...class ds_forkcore(object): #async IO(epoll) def ds_epoll(self): epoll=select.epoll() epoll.register(self.s.fileno(),select.EPOLLIN|select.EPOLLET) while 1: epoll_list=ep
C-epoll-连接池-线程池.zip
08-12
实现的高并发服务器的代码，使用的是C语编写的，用到了Epoll，线程池，数据库连接池。
epoll编程+线程池服务器
06-05
一个非常好的epoll+线程池服务器Demo
EPoll反应堆+线程池简单示例
最新发布
qq_53137764的博客
03-01 468
加上线程池需要注意的点是，需要将默认LT模式改为ET模式，如果是LT模式，当线程池没有将某一任务完成（没有将数据读出来），epoll_wait会一直触发读事件，导致主线程一直往任务队列中添加相同任务。线程池的作用是为了避免重复创建销毁线程，这篇文章在上一篇的基础上加上了线程池。epoll反应堆-CSDN博客。
Linux网络编程（六）-高并发服务器04：epoll + 线程池
u013250861的博客
10-12 1464
【代码】Linux网络编程（六）-高并发服务器04：epoll + 线程池。
聊天室 epoll＋线程池版本
weixin_56337750的博客
07-24 235
用户注册、登录、悄悄话、群聊、私聊、查看在线用户、超级用户权限、踢人、禁言、 解禁、文件传输、查看聊天记录、忘记密码、注销用户 注册用户即为普通用户，在界面需要主动申请为VIP（管理员），但是必须在后台服务器进行操作（同意或者拒绝）； 若被禁言，则为永久禁言，知道管理员解除禁言，或者重启服务器； 若被管理员强制下线，退出聊天框重新进入即可； 进行聊天时可以选择常用语或者手动输入。 5.服务器代码 main.c server.h server.c 6.项目总结
浅谈服务器单I/O线程＋工作者线程池模型架构及实现要点
Denallo的专栏
06-23 1427
我们知道，服务器并发模型通常可分为单线程和多线程模型，这里的线程通常是指“I/O线程”，即负责I/O操作，协调分配任务的“管理线程”，而实际的请求和任务通常交由所谓“工作者线程”处理。通常多线程模型下，每个线程既是I/O线程又是工作者线程。所以这里讨论的是，单I/O线程+多工作者线程的模型，这也是最常用的一种服务器并发模型。我所在的项目中的server代码中，这种模型随处可见。它还有个名字，叫“半同步/半异步“模型，同时，这种模型也是生产者/消费者（尤其是多消费者）模型的一种表现。 这种架构主要是基于I/O
【Epoll】epoll+线程池实现高并发（C++）--编辑中
bandaoyu的note
06-21 2411
在epoll编程中，有三个非常重要的函数： 1. int epoll_create(int size):创建epoll 句柄， 入参是表示监听的数目是多大。 2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)： 事件注册函数， @param1：epoll句柄，epoli_create()的返回值， @param2： 表示注册的行为， 有ADD事件 、MOD事件、DEL事件，...
Linux多线程实践(9) --简单线程池的设计与实现
weixin_30437481的博客
02-19 340
线程池的技术背景 在面向对象编程中，创建和销毁对象是很费时间的，因为创建一个对象要获取内存资源或者其它更多资源。在Java中更是如此，虚拟机将试图跟踪每一个对象，以便能够在对象销毁后进行垃圾回收。所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数，特别是一些很耗资源的对象创建和销毁。如何利用已有对象来服务(不止一个不同的任务)就是一个需要解决的关键问题，其实这就是一些"池化资...
高并发的epoll+线程池，epoll在线程池内
$firecat利白的代码足迹$
05-31 2515
文章来源：http://blog.chinaunix.net/uid-311680-id-2439723.html 我们知道，服务器并发模型通常可分为单线程和多线程模型，这里的线程通常是指“I/O线程”，即负责I/O操作，协调分配任务的“管理线程”，而实际的请求和任务通常交由所谓“工作者线程”处理。通常多线程模型下，每个线程既是I/O线程又是工作者线程。所以这里讨论的是，单I/O线程+多
socket+epoll高并发项目中如何测试高并发性
06-28
### 回答1： 在socket epoll高并发项目中，我们可以使用以下方法来测试高并发性： 1. 压力测试：可以使用工具如Apache JMeter或wrk等进行压力测试，模拟多个并发请求发送到服务器。可以设置并发连接数和请求频率，观察服务器的响应时间和处理能力。 2. 性能测试：可以使用工具如Apache Bench或siege等进行性能测试，发送多个并发请求并记录服务器的响应时间、吞吐量等指标。可以通过调整并发连接数和请求的大小来测试服务器的性能极限。 3. 负载均衡测试：如果项目中使用了负载均衡器来分流请求，可以模拟多个并发请求发送到负载均衡器，观察负载均衡器的转发能力和服务器的响应时间。 4. 异常情况测试：可以模拟网络延迟、断连、异常数据等异常情况，观察服务器的容错能力和恢复能力。 5. 数据库测试：如果项目中有涉及数据库的操作，可以模拟并发读写请求，观察数据库的性能和并发处理能力。 6. 监控和分析：在测试过程中，可以使用监控工具来实时监测服务器的CPU、内存、网络等指标，以及检查是否有内存泄漏或资源泄漏等问题。 通过以上的测试方法和手段，我们可以评估高并发项目的性能和稳定性，找出性能瓶颈和优化空间，提高系统的并发处理能力。 ### 回答2： 在进行socket epoll高并发项目的测试时，可以采取以下几个步骤来测试高并发性： 1. 设计并发测试场景：根据项目的需求和设计，确定需要模拟的并发用户数、每个用户的请求频率和请求类型。可以使用工具如Apache JMeter或自行编写脚本来模拟并发请求。 2. 配置并发环境：在测试机器上进行并发测试，需要增加网络带宽、增加计算资源，比如使用高性能的服务器和网络设备，确保能够支持大量并发连接。 3. 编写测试程序：根据项目的需求，在测试程序中实现模拟并发请求的逻辑，通过socket epoll模型建立大量并发连接，并发送模拟请求进行测试。 4. 监控并发连接数和响应时间：使用系统工具如netstat、top等来监控服务器端的并发连接数和系统资源使用情况。同时，使用性能监控工具如zabbix、grafana等来监控服务器的吞吐量、响应时间等指标。 5. 数据验证和压力测试：在并发测试中，确保数据的一致性，对接收到的响应进行验证。并逐步增加并发连接数，直至达到系统的极限，观察系统响应时间的变化情况和可能出现的性能瓶颈。 6. 多样化的测试场景：在测试过程中，可以尝试不同的测试场景，如不同的请求类型、不同大小的数据包等，验证系统在各种情况下的高并发性能。 7. 异常处理：在测试中，需要注意处理一些异常情况，如客户端异常断开连接、网络异常等，确保系统对异常情况的处理能力。 通过以上步骤，可以对socket epoll高并发项目进行有效的测试，找出系统的性能瓶颈，及时进行优化和调整，提升系统的高并发性能。 ### 回答3： 在socket epoll高并发项目中，为了测试高并发性能，可以采取以下几种方式： 1. 压力测试工具：使用一些专业的压力测试工具，如JMeter、Apache Bench或wrk等，来模拟大量的并发请求。可以设置并发数、每秒请求数和总请求量等参数，对系统进行压力测试，观察系统在高并发情况下的性能表现。 2. 自动化测试脚本：编写自动化测试脚本，通过多线程或多进程进行模拟并发请求，向服务器发送大量的请求。可以使用Python的模块，如requests、multiprocessing等，实现并发请求的测试。 3. 网络负载生成工具：使用网络负载生成工具，比如Locust、Gatling等，来模拟真实的网络负载情况。可以设置请求频率、并发数和持续时间等参数，模拟多种场景下的高并发情况。 4. 并发性能监控工具：使用一些并发性能监控工具，如Grafana、Prometheus等，来监控系统的并发性能。通过收集CPU、内存、网络等指标数据，可以分析和评估系统在高并发场景下的性能瓶颈。 5. 随机性测试：在测试过程中，引入随机性因素，模拟真实场景下的随机请求。可以设计不同类型的请求和不同请求参数的组合，观察系统在随机请求下的并发性能表现。 需要注意的是，在进行高并发性能测试时，要合理设置测试参数，以真实场景为依据，同时监控系统各项指标，及时发现并解决性能瓶颈。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值