Linux之多路I/O转接服务器（二）——epoll模型

最新推荐文章于 2024-03-04 15:15:31 发布

Icey_j

最新推荐文章于 2024-03-04 15:15:31 发布

阅读量240

点赞数 1

分类专栏： Linux 文章标签： Linux I/O转接 epoll模型网络编程

本文链接：https://blog.csdn.net/qq_44665944/article/details/90349501

版权

Linux 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

epoll模型

epoll是Linux内核为处理大批量句柄而作了改进的poll，是Linux下多路复用IO接口select/poll的增强版本，它能显著减少程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。

一、epoll优点

支持一个进程打开大数目的socket描述符。
IO效率不随FD数目增加而线性下降。
内核微调。

二、epoll工作方式

epoll有2种工作方式：LT和ET。

LT（level triggered，水平触发）是缺省的工作方式，并且同时支持block和no-block socket.在这种做法中，内核告诉你一个文件描述符是否就绪了，然后你可以对这个就绪的fd进行IO操作。如果你不作任何操作，内核还是会继续通知你的，所以，这种模式编程出错误可能性要小一点。传统的select/poll都是这种模型的代表。

ET （edge-triggered，边缘触发）是高速工作方式，只支持no-block socket。在这种模式下，当描述符从未就绪变为就绪时，内核通过epoll告诉你。然后它会假设你知道文件描述符已经就绪，并且不会再为那个文件描述符发送更多的就绪通知，直到你做了某些操作导致那个文件描述符不再为就绪状态了（比如，你在发送，接收或者接收请求，或者发送接收的数据少于一定量时导致了一个EWOULDBLOCK 错误）。但是请注意，如果一直不对这个fd作IO操作（从而导致它再次变成未就绪），内核不会发送更多的通知（only once）。

三、epoll模型跟进

3.1 支持一个进程打开较大数目的文件描述符（fd）

select模型对一个进程所打开的文件描述符是有一定限制的，其由FD_SETSIZE设置，默认为1024/2048。这对于那些需要支持上万连接数目的高并发服务器来说显然太少了，这个时候，可以选择两种方案：一是可以选择修改FD_SETSIZE宏然后重新编译内核，不过这样做也会带来网络效率的下降；二是可以选择多进程的解决方案（传统的Apache方案），不过虽然Linux中创建线程的代价比较小，但仍然是不可忽视的，加上进程间数据同步远不及线程间同步的高效，所以也不是一种完美的方案。

但是，epoll则没有对描述符数目的限制，它所支持的文件描述符上限是整个系统最大可以打开的文件数目，例如，在1GB内存的机器上，这个限制大概为10万左右。

3.2 IO效率不会随文件描述符（fd）的增加而线性下降

传统的select/poll的一个致命弱点就是当你拥有一个很大的socket集合时，不过任一时间只有部分socket是活跃的，select/poll每次调用都会线性扫描整个socket集合，这将导致IO处理效率呈现线性下降。

但是，epoll不存在这个问题，它只会对活跃的socket进行操作，这是因为在内核实现中，epoll是根据每个fd上面的callback函数实现的。因此，只有活跃的socket才会主动去调用callback函数，其他idle状态socket则不会。在这一点上，epoll实现了一个伪AIO，其内部推动力在内核。

在一些benchmark中，如果所有的socket基本上都是活跃的，如高速LAN环境，epoll并不比select/poll效率高，相反，过多使用epoll_ctl，其效率反而还有稍微下降。但是，一旦使用idle connections模拟WAN环境，epoll的效率就远在select/poll之上了。

3.3 使用mmap加速内核与用户空间的消息传递

无论是select，poll还是epoll，它们都需要内核把fd消息通知给用户空间。因此，如何避免不必要的内存拷贝就很重要了。对于该问题，epoll通过内核与用户空间mmap同一块内存来实现。

3.4 内核微调

这一点其实不算epoll的优点了，而是整个Linux平台的优点，Linux赋予开发者微调内核的能力。比如，内核TCP/IP协议栈使用内存池管理sk_buff结构，那么，可以在运行期间动态调整这个内存池大小（skb_head_pool）来提高性能，该参数可以通过使用echo xxxx > /proc/sys/net/core/hot_list_length来完成。再如，可以尝试使用最新的NAPI网卡驱动架构来处理数据包数量巨大但数据包本身很小的特殊场景。

四、epoll原语

#include <sys/epoll.h>

int epoll_create(int size);

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);

4.1 epoll_create

#include <sys/epoll.h>

int epoll_create(int size);

size：用来告诉内核要监听的数目一共有多少个。
返回值：成功时，返回一个非负整数的文件描述符，作为创建好的epoll句柄。调用失败时，返回-1，错误信息可以通过errno获得。
说明：创建一个epoll句柄，size用来告诉内核这个监听的数目一共有多大。这个参数不同于select()中的第一个参数，给出最大监听的fd+1的值。需要注意的是，当创建好epoll句柄后，它就是会占用一个fd值，所以在使用完epoll后，必须调用close()关闭，否则可能导致fd被耗尽

4.2 epoll_ctl

#include <sys/epoll.h>

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

epfd：epoll_create()函数返回的epoll句柄。
op：操作选项。
fd：要进行操作的目标文件描述符。
event：struct epoll_event结构指针，将fd和要进行的操作关联起来。
返回值：成功时，返回0，作为创建好的epoll句柄。调用失败时，返回-1，错误信息可以通过errno获得。
说明：epoll的事件注册函数，它不同与select()是在监听事件时告诉内核要监听什么类型的事件，而是在这里先注册要监听的事件类型

参数op的可选值有以下3个：

EPOLL_CTL_ADD：注册新的fd到epfd中；
EPOLL_CTL_MOD：修改已经注册的fd的监听事件；
EPOLL_CTL_DEL：从epfd中删除一个fd；

struct epoll_event结构如下：

// 保存触发事件的某个文件描述符相关的数据
typedef union epoll_data {
    void *ptr;
    int fd;
    __uint32_t u32;
    __uint64_t u64;
} epoll_data_t;

// 感兴趣的事件和被触发的事件
struct epoll_event {
    __uint32_t events; // Epoll events
    epoll_data_t data; // User data variable
};

events可以是以下几个宏的集合：

EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）；
EPOLLOUT：表示对应的文件描述符可以写；
EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；
EPOLLERR：表示对应的文件描述符发生错误；
EPOLLHUP：表示对应的文件描述符被挂断；
EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里

4.3 epoll_wait

#include <sys/epoll.h>

int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);

epfd：epoll_create()函数返回的epoll句柄。
events：struct epoll_event结构指针，用来从内核得到事件的集合。
maxevents：告诉内核这个events有多大
timeout: 等待时的超时时间，以毫秒为单位。
返回值：成功时，返回需要处理的事件数目。调用失败时，返回0，表示等待超时。
说明：等待事件的产生。

五、举例（服务器与客户端）

//server.c
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <errno.h>
#include <unistd.h>

//定义端口号
//最大的文件描述符支持个数 =1024
#define MAXLINE 80
#define SERV_PORT 8000
#define OPEN_MAX 1024
void perr_exit(const char *s)
{
	perror(s);
	exit(1);
}

int main(int argc, char *argv[]) 
{
	int i, j, maxi, listenfd, connfd, sockfd;
	int nready, efd, res;
	ssize_t n;
	char buf[MAXLINE], str[INET_ADDRSTRLEN];
	socklen_t clilen;
	int client[OPEN_MAX];
	struct sockaddr_in cliaddr, servaddr;
	struct epoll_event tep, ep[OPEN_MAX];
 
	listenfd = socket(AF_INET, SOCK_STREAM, 0);
	
	bzero(&servaddr, sizeof(servaddr));
	servaddr.sin_family = AF_INET;
	servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
	servaddr.sin_port = htons(SERV_PORT);
	
	bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr));
	
	listen(listenfd,20);
	
	for(i=0;i<OPEN_MAX;i++)
		client[i]=-1;
	maxi=-1;
		
	//epoll_create(); 
	efd=epoll_create(OPEN_MAX);
	if(efd==-1)
	{
		perr_exit("epoll_creat");
	}
	//tep.evens tep.data.fd = listenfd
	tep.events = EPOLLIN;
	tep.data.fd = listenfd;
	//listenfd 加到树上
	//epoll_ctl(); 	
	res = epoll_ctl(efd,EPOLL_CTL_ADD,listenfd,&tep);
	
	if(res==-1)
	{
		perr_exit("epoll_ctl");
	}
	
	while(1)
	{
		//epoll_wait 监听就绪  阻塞监听 
		nready = epoll_wait(efd,ep,OPEN_MAX,-1);
		if(nready==-1)
		{
			perr_exit("epoll_wait");
		}
		for (i=0;i<nready;i++)
		{
			if(!ep[i].events & EPOLLIN)
				continue;
			//判断满足条件是 listenfd还是客户端fd
			if(ep[i].data.fd == listenfd)
			{
				//接收连接  connfd = accept();
				clilen =sizeof(cliaddr);
				connfd = accept(listenfd,(struct sockaddr*)&cliaddr,&clilen);
				//打印客户端的IP和端口				
				printf("received from %s at PORT %d\n",
				inet_ntop(AF_INET, &cliaddr.sin_addr, str, sizeof(str)),ntohs(cliaddr.sin_port));
				//加到client[];
				for(j=0;j<OPEN_MAX;j++)
				{
					if(client[j]<0)
					{
						client[j]=connfd;
						break;
					}
				}
				if(j==OPEN_MAX)
					perr_exit("too many client");
				if(j>maxi)
					maxi=j;
				//connfd 加到红黑数上   tep.even tep.data.fa = connfd 
				tep.events = EPOLLIN; 
				tep.data.fd = connfd;
				res = epoll_ctl(efd, EPOLL_CTL_ADD, connfd, &tep);
				if (res == -1)
					perr_exit("epoll_ctl");
			}
			else
			{
				sockfd = ep[i].data.fd;
				n = read(sockfd, buf, MAXLINE);
				if(n==0)
				{
					for (j = 0; j <= maxi; j++) 
					{
						if (client[j] == sockfd) 
						{
							client[j] = -1;
							break;
						}	
					}
					res = epoll_ctl(efd, EPOLL_CTL_DEL, sockfd, NULL);
					if (res == -1)
						perr_exit("epoll_ctl");
					close(sockfd);
					printf("client[%d] closed connection\n", j);
				} 
				else
				{
					for (j = 0; j < n; j++)
						buf[j] = toupper(buf[j]);
					writen(sockfd, buf, n);
				}		
			}			
		}
	}
	close(listenfd);
	close(efd);
	return 0;
}

/* client.c */
#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <netinet/in.h>

#define MAXLINE 80
#define SERV_PORT 8000

int main(int argc, char *argv[])
{
    struct sockaddr_in servaddr;
    char buf[MAXLINE];
    int sockfd, n;
    sockfd = Socket(AF_INET, SOCK_STREAM, 0);
    bzero(&servaddr, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    inet_pton(AF_INET, "127.0.0.1", &servaddr.sin_addr);
    servaddr.sin_port = htons(SERV_PORT);
    Connect(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr));
    while (fgets(buf, MAXLINE, stdin) != NULL) 
	{
        write(sockfd, buf, strlen(buf));
        n = read(sockfd, buf, MAXLINE);
        if (n == 0)
            printf("the other side has been closed.\n");
        else
            write(STDOUT_FILENO, buf, n);
    }
    close(sockfd);
    return 0;
}

参考：
1、https://www.cnblogs.com/chunlinge/p/3394649.html
2、https://blog.csdn.net/zhaobryant/article/details/80557262

Icey_j

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
Linux之多路I/O转接服务器（二）——epoll模型

epoll模型epoll是Linux内核为处理大批量句柄而作了改进的poll，是Linux下多路复用IO接口select/poll的增强版本，它能显著减少程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。一、epoll优点支持一个进程打开大数目的socket描述符。IO效率不随FD数目增加而线性下降。内核微调。二、epoll工作方式epoll有2种工作方式：LT和ET。...
复制链接

扫一扫