- 基本知识
epoll是在2.6内核中提出的,是之前的select和poll的增强版本。相对于select和poll来说,epoll更加灵活,没有描述符限制。epoll使用一个文件描述符管理多个描述符,将用户关系的文件描述符的事件存放到内核的一个事件表中,这样在用户空间和内核空间的copy只需一次。 - epoll接口
epoll操作过程需要三个接口,分别如下:
#include <sys/epoll.h>
int epoll_create(int size);
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
(1) int epoll_create(int size);
创建一个epoll的句柄,size用来告诉内核这个监听的数目一共有多大。这个参数不同于select()中的第一个参数,给出最大监听的fd+1的值。需要注意的是,当创建好epoll句柄后,它就是会占用一个fd值,在linux下如果查看/proc/进程id/fd/,是能够看到这个fd的,所以在使用完epoll后,必须调用close()关闭,否则可能导致fd被耗尽。
(2)int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
epoll的事件注册函数,它不同与select()是在监听事件时告诉内核要监听什么类型的事件epoll的事件注册函数,它不同与select()是在监听事件时告诉内核要监听什么类型的事件,而是在这里先注册要监听的事件类型。第一个参数是epoll_create()的返回值,第二个参数表示动作,用三个宏来表示:
EPOLL_CTL_ADD:注册新的fd到epfd中;
EPOLL_CTL_MOD:修改已经注册的fd的监听事件;
EPOLL_CTL_DEL:从epfd中删除一个fd;
第三个参数是需要监听的fd,第四个参数是告诉内核需要监听什么事,struct epoll_event结构如下:
struct epoll_event {
__uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};
events可以是以下几个宏的集合:
EPOLLIN :表示对应的文件描述符可以读(包括对端SOCKET正常关闭);
EPOLLOUT:表示对应的文件描述符可以写;
EPOLLPRI:表示对应的文件描述符有紧急的数据可读(这里应该表示有带外数据到来);
EPOLLERR:表示对应的文件描述符发生错误;
EPOLLHUP:表示对应的文件描述符被挂断;
EPOLLET: 将EPOLL设为边缘触发(Edge Triggered)模式,这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT:只监听一次事件,当监听完这次事件之后,如果还需要继续监听这个socket的话,需要再次把这个socket加入到EPOLL队列里
(3) int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
等待事件的产生,类似于select()调用。参数events用来从内核得到事件的集合,maxevents告之内核这个events有多大,这个maxevents的值不能大于创建epoll_create()时的size,参数timeout是超时时间(毫秒,0会立即返回,-1将不确定,也有说法说是永久阻塞)。该函数返回需要处理的事件数目,如返回0表示已超时。
- 工作模式
epoll对文件描述符的操作有两种模式:LT(level trigger)和ET(edge trigger)。LT模式是默认模式,LT模式与ET模式的区别如下:
LT模式:当epoll_wait检测到描述符事件发生并将此事件通知应用程序,应用程序可以不立即处理该事件。下次调用epoll_wait时,会再次响应应用程序并通知此事件。
ET模式:当epoll_wait检测到描述符事件发生并将此事件通知应用程序,应用程序必须立即处理该事件。如果不处理,下次调用epoll_wait时,不会再次响应应用程序并通知此事件。
ET模式在很大程度上减少了epoll事件被重复触发的次数,因此效率要比LT模式高。epoll工作在ET模式的时候,必须使用非阻塞套接口,以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。
从socket读数据:
往socket写数据
所以, 在epoll的ET模式下, 正确的读写方式为:
读: 只要可读, 就一直读, 直到返回0, 或者 errno = EAGAIN
写: 只要可写, 就一直写, 直到数据发送完, 或者 errno = EAGAIN
正确的accept,accept 要考虑 2 个问题
(1) 阻塞模式 accept 存在的问题
考虑这种情况: TCP 连接被客户端夭折,即在服务器调用 accept 之前,客户端主动发送 RST 终止
连接,导致刚刚建立的连接从就绪队列中移出,如果套接口被设置成阻塞模式,服务器就会一直阻塞
在 accept 调用上,直到其他某个客户建立一个新的连接为止。但是在此期间,服务器单纯地阻塞在
accept 调用上,就绪队列中的其他描述符都得不到处理.
解决办法是把监听套接口设置为非阻塞,当客户在服务器调用 accept 之前中止某个连接时,accept 调用
可以立即返回 -1, 这时源自 Berkeley 的实现会在内核中处理该事件,并不会将该事件通知给 epool,
而其他实现把 errno 设置为 ECONNABORTED 或者 EPROTO 错误,我们应该忽略这两个错误。
(2) ET 模式下 accept 存在的问题
考虑这种情况:多个连接同时到达,服务器的 TCP 就绪队列瞬间积累多个就绪连接,由于是边缘触发模式,
epoll 只会通知一次,accept 只处理一个连接,导致 TCP 就绪队列中剩下的连接都得不到处理。
解决办法是用 while 循环抱住 accept 调用,处理完 TCP 就绪队列中的所有连接后再退出循环。如何知道
是否处理完就绪队列中的所有连接呢? accept 返回 -1 并且 errno 设置为 EAGAIN 就表示所有连接都处理完。
综合以上两种情况,服务器应该使用非阻塞地 accept, accept 在 ET 模式下 的正确使用方式为:
while ((conn_sock = accept(listenfd,(struct sockaddr *) &remote,
(size_t *)&addrlen)) > 0) {
handle_client(conn_sock);
}
if (conn_sock == -1) {
if (errno != EAGAIN && errno != ECONNABORTED
&& errno != EPROTO && errno != EINTR)
perror("accept");
}
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <errno.h>
#include <netinet/in.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#include <unistd.h>
#include <sys/types.h>
#define IPADDRESS "127.0.0.1"
#define PORT 8787
#define MAXSIZE 1024
#define LISTENQ 5
#define FDSIZE 1000
#define EPOLLEVENTS 100
/* 创建套接字并进行绑定 */
static int zkj_socket_bind(const char* ip,int port);
/* IO多路复用epoll */
static void zkj_do_epoll(int listenfd);
/* 事件处理函数 */
static void zkj_handle_events(int epollfd,struct epoll_event *events,int num,int listenfd,char *buf);
/* 处理接收到的连接 */
static void zkj_handle_accpet(int epollfd,int listenfd);
/* 读处理 */
static void zkj_do_read(int epollfd,int fd,char *buf);
/* 写处理 */
static void zkj_do_write(int epollfd,int fd,char *buf);
//添加事件
static void zkj_add_event(int epollfd,int fd,int state);
//修改事件
static void zkj_modify_event(int epollfd,int fd,int state);
//删除事件
static void zkj_delete_event(int epollfd,int fd,int state);
/*************************************************************
* 函数:main
* 作者:zhoukaijie
* 函数描述:处理连接
* 参数:int argc,char *argv[]
* 返回值:0或-1
************************************************************/
int main(int argc,char *argv[])
{
int listenfd;
listenfd = zkj_socket_bind(IPADDRESS,PORT);
listen(listenfd,LISTENQ);
zkj_do_epoll(listenfd);
return 0;
}
static int zkj_socket_bind(const char* ip,int port)
{
int listenfd;
struct sockaddr_in servaddr;
listenfd = socket(AF_INET,SOCK_STREAM,0);
if (listenfd == -1)
{
perror("socket error:");
exit(1);
}
bzero(&servaddr,sizeof(servaddr));
servaddr.sin_family = AF_INET;
inet_pton(AF_INET,ip,&servaddr.sin_addr);
servaddr.sin_port = htons(port);
if (bind(listenfd,(struct sockaddr*)&servaddr,sizeof(servaddr)) == -1)
{
perror("bind error: ");
exit(1);
}
return listenfd;
}
static void zkj_do_epoll(int listenfd)
{
int epollfd;
struct epoll_event events[EPOLLEVENTS];
int ret;
char buf[MAXSIZE];
memset(buf,0,MAXSIZE);
//创建一个描述符
epollfd = epoll_create(FDSIZE);
//添加监听描述符事件
zkj_add_event(epollfd,listenfd,EPOLLIN);
for ( ; ; )
{
//获取已经准备好的描述符事件
ret = epoll_wait(epollfd,events,EPOLLEVENTS,-1);
zkj_handle_events(epollfd,events,ret,listenfd,buf);
}
close(epollfd);
}
static void zkj_handle_events(int epollfd,struct epoll_event *events,int num,int listenfd,char *buf)
{
int i;
int fd;
//进行选好遍历
for (i = 0;i < num;i++)
{
fd = events[i].data.fd;
//根据描述符的类型和事件类型进行处理
if ((fd == listenfd) &&(events[i].events & EPOLLIN))
{
printf("1\n");
zkj_handle_accpet(epollfd,listenfd);
}
else if (events[i].events & EPOLLIN)
{
printf("2\n");
zkj_do_read(epollfd,fd,buf);
}
else if (events[i].events & EPOLLOUT)
{
printf("3\n");
zkj_do_write(epollfd,fd,buf);
}
}
}
static void zkj_handle_accpet(int epollfd,int listenfd)
{
int clifd;
struct sockaddr_in cliaddr;
socklen_t cliaddrlen;
clifd = accept(listenfd,(struct sockaddr*)&cliaddr,&cliaddrlen);
if (clifd == -1)
perror("accpet error:");
else
{
printf("accept a new client: %s:%d\n",inet_ntoa(cliaddr.sin_addr),cliaddr.sin_port);
//添加一个客户描述符和事件
zkj_add_event(epollfd,clifd,EPOLLIN);
}
}
static void zkj_do_read(int epollfd,int fd,char *buf)
{
int nread;
nread = read(fd,buf,MAXSIZE);
if (nread == -1)
{
perror("read error:");
close(fd);
zkj_delete_event(epollfd,fd,EPOLLIN);
}
else if (nread == 0)
{
fprintf(stderr,"client close.\n");
close(fd);
zkj_delete_event(epollfd,fd,EPOLLIN);
}
else
{
printf("read message is : %s",buf);
//修改描述符对应的事件,由读改为写
zkj_modify_event(epollfd,fd,EPOLLOUT);
}
}
static void zkj_do_write(int epollfd,int fd,char *buf)
{
int nwrite;
nwrite = write(fd,buf,strlen(buf));
if (nwrite == -1)
{
perror("write error:");
close(fd);
zkj_delete_event(epollfd,fd,EPOLLOUT);
}
else
zkj_modify_event(epollfd,fd,EPOLLIN);
memset(buf,0,MAXSIZE);
}
static void zkj_add_event(int epollfd,int fd,int state)
{
struct epoll_event ev;
ev.events = state;
ev.data.fd = fd;
epoll_ctl(epollfd,EPOLL_CTL_ADD,fd,&ev);
}
static void zkj_delete_event(int epollfd,int fd,int state)
{
struct epoll_event ev;
ev.events = state;
ev.data.fd = fd;
epoll_ctl(epollfd,EPOLL_CTL_DEL,fd,&ev);
}
static void zkj_modify_event(int epollfd,int fd,int state)
{
struct epoll_event ev;
ev.events = state;
ev.data.fd = fd;
epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&ev);
}
客户端也用epoll实现,控制STDIN_FILENO、STDOUT_FILENO、和sockfd三个描述符
#include <netinet/in.h>
#include <sys/socket.h>
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <sys/epoll.h>
#include <time.h>
#include <unistd.h>
#include <sys/types.h>
#include <arpa/inet.h>
#define MAXSIZE 1024
#define IPADDRESS "127.0.0.1"
#define SERV_PORT 8787
#define FDSIZE 1024
#define EPOLLEVENTS 20
#define IGNORE(x) (void)(x)
/*************************************************************
* 函数:zkj_add_event
* 作者:zhoukaijie
* 函数描述:添加epoll事件
* 参数:epollfd, fd, state
* 返回值:void
************************************************************/
static void zkj_add_event(int epollfd,int fd,int state)
{
struct epoll_event ev;
ev.events = state;
ev.data.fd = fd;
epoll_ctl(epollfd,EPOLL_CTL_ADD,fd,&ev);
}
/*************************************************************
* 函数:zkj_add_event
* 作者:zhoukaijie
* 函数描述:删除epoll事件
* 参数:epollfd, fd, state
* 返回值:void
************************************************************/
static void zkj_delete_event(int epollfd,int fd,int state)
{
struct epoll_event ev;
ev.events = state;
ev.data.fd = fd;
epoll_ctl(epollfd, EPOLL_CTL_DEL, fd, &ev);
}
/*************************************************************
* 函数:zkj_do_read
* 作者:zhoukaijie
* 函数描述:处理服务端发送的数据,EPOLLIN事件
* 参数:int epollfd,int fd,int sockfd,char *buf
* 返回值:void
************************************************************/
static void zkj_do_read(int epollfd,int fd,int sockfd,char *buf)
{
int nread;
nread = read(fd,buf,MAXSIZE);
if (nread == -1)
{
perror("read error:");
close(fd);
}
else if (nread == 0)
{
fprintf(stderr,"server close.\n");
close(fd);
}
else
{
if (fd == STDIN_FILENO)
{
printf("z\n");
zkj_add_event(epollfd, sockfd, EPOLLOUT);
}
else
{
printf("k\n");
zkj_delete_event(epollfd, sockfd, EPOLLIN);
zkj_add_event(epollfd, STDOUT_FILENO, EPOLLOUT);
}
}
}
/*************************************************************
* 函数:zkj_do_read
* 作者:zhoukaijie
* 函数描述:重新设置socket fd的事件类型
* 参数:int epollfd,int fd,int sockfd,char *buf
* 返回值:void
* 注意:等侍注册在epfd上的socket fd的事件的发生,如果发生则将发生的sokct fd和事件类型放入到events数组中。
并 且将注册在epfd上的socket fd的事件类型给清空,所以如果下一个循环你还要关注这个socket fd的话,则需要用
epoll_ctl(epfd,EPOLL_CTL_MOD,listenfd,&ev)来重新设置socket fd的事件类型。这时不用EPOLL_CTL_ADD,
因为socket fd并未清空,只是事件类型清空。这一步非常重要。
************************************************************/
static void zkj_modify_event(int epollfd,int fd,int state)
{
struct epoll_event ev;
ev.events = state;
ev.data.fd = fd;
epoll_ctl(epollfd, EPOLL_CTL_MOD, fd,&ev);
}
/*************************************************************
* 函数:zkj_do_write
* 作者:zhoukaijie
* 函数描述:向服务端写数据,EPOLLOUT事件
* 参数:int epollfd,int fd,int sockfd,char *buf
* 返回值:void
************************************************************/
static void zkj_do_write(int epollfd,int fd,int sockfd,char *buf)
{
int nwrite;
IGNORE(sockfd);
nwrite = write(fd,buf,strlen(buf));
if (nwrite == -1)
{
perror("write error:");
close(fd);
}
else
{
if (fd == STDOUT_FILENO)
{
zkj_delete_event(epollfd, fd, EPOLLOUT);
}
else
{
zkj_modify_event(epollfd, fd, EPOLLIN);
}
}
memset(buf,0,MAXSIZE);
}
/*************************************************************
* 函数:zkj_handle_events
* 作者:zhoukaijie
* 函数描述:处理连epoll事件
* 参数:int epollfd,struct epoll_event *events,int num,int sockfd,char *buf
* 返回值:void
************************************************************/
static void zkj_handle_events(int epollfd,struct epoll_event *events,int num,int sockfd,char *buf)
{
int fd;
int i;
for (i = 0;i < num;i++)
{
fd = events[i].data.fd;
if (events[i].events & EPOLLIN)
{
zkj_do_read(epollfd, fd, sockfd, buf);
}
else if (events[i].events & EPOLLOUT)
{
zkj_do_write(epollfd, fd, sockfd, buf);
}
}
}
/*************************************************************
* 函数:zkj_handle_connection
* 作者:zhoukaijie
* 函数描述:处理连接
* 参数:sockfd
* 返回值:void
************************************************************/
static void zkj_handle_connection(int sockfd)
{
int ret;
int epollfd;
char buf[MAXSIZE];
struct epoll_event events[EPOLLEVENTS];
epollfd = epoll_create(FDSIZE);
zkj_add_event(epollfd, STDIN_FILENO, EPOLLIN);
for ( ; ; )
{
ret = epoll_wait(epollfd, events, EPOLLEVENTS, -1);
zkj_handle_events(epollfd, events, ret, sockfd, buf);
}
close(epollfd);
}
/*************************************************************
* 函数:main
* 作者:zhoukaijie
* 函数描述:处理连接
* 参数:int argc,char *argv[]
* 返回值:0或-1
************************************************************/
int main(int argc,char *argv[])
{
int sockfd;
struct sockaddr_in servaddr;
IGNORE(argc);
IGNORE(argv);
sockfd = socket(AF_INET, SOCK_STREAM, 0);
bzero(&servaddr,sizeof(servaddr));
servaddr.sin_family = AF_INET;
servaddr.sin_port = htons(SERV_PORT);
inet_pton(AF_INET,IPADDRESS,&servaddr.sin_addr);
connect(sockfd,(struct sockaddr*)&servaddr,sizeof(servaddr));
/* 处理连接 */
zkj_handle_connection(sockfd);
close(sockfd);
return 0;
}
- 测试结果