网络编程与select/poll/epoll服务器的实现

什么是网络编程？

    本部分主要是介绍socket网络编程的基本API——并展示一个服务器与客户端连接的具体流程是如何的实现一个一对一的网络服务器程序
要对网络编程进行一个较为深入的学习，还是要费不少笔墨的，具体的详细内容可以查看博主以前写过的一个专栏进行学习：socket编程或者网络编程。相信看完博主之前的介绍大家会对网络编程有一定的认识，所以我们就紧接着之前知识点继续介绍，之前时实现了一个回声服务器，现在将其升级为更高效的服务器。

网络编程效果演示

本部分要演示的效果如下：

• 演示什么是阻塞什么是非阻塞——socket设置非阻塞的差别演示为何要加while——反复读与读一次
• 演示多个client连接一个server一个接口发数据，其他client会被卡主的情况演示一请求一线程的情况
• 演示server不close的状态——不停地打印信息

阻塞与非阻塞的区别

下面将用代码来展示在socket编程中阻塞与非阻塞的区别。

阻塞状态一个server对应一个client

#include <stdio.h>
#include <errno.h>
#include <string.h>
#include <unistd.h>
#include <sys/socket.h>
#include <netinet/in.h>

#define BUFFER_LENGTH 1024

int main()
{
	// 创建socket
	int sockfd = socket(AF_INET, SOCK_STREAM, 0); 

	struct sockaddr_in servaddr;
	memset(&servaddr, 0, sizeof(struct sockaddr_in)); // 清空
	servaddr.sin_family = AF_INET;	// 设置协议族为 IPV4
	servaddr.sin_addr.s_addr = htonl(INADDR_ANY); // 0.0.0.0
	servaddr.sin_port = htons(9999);	// 监听端口为 9999

	// 绑定好初始化的信息，出错就打印出错信息
	if (-1 == bind(sockfd, (struct sockaddr *)&servaddr, sizeof(struct sockaddr)))
	{
		printf("bind failed: %s", strerror(errno));
		return -1;
	}

	// 监听绑定好的信息
	listen(sockfd, 10);
	
	// 为了保存 client的信息锁创建的结构
	struct sockaddr_in clientaddr;
	socklen_t len = sizeof(clientaddr);

	// 此时的 clientfd就是用来和 client通信的socket
	int clientfd = accept(sockfd, (struct sockaddr *)&clientaddr, &len);
	printf("accept,the clientfd is %d\n",clientfd);
	
	char buffer[BUFFER_LENGTH] = {0};
	int ret = recv(clientfd, buffer, BUFFER_LENGTH, 0);	// 接收client发来的信息
	printf("ret: %d, buffer: %s\n", ret, buffer);	// 本地打印client

	send(clientfd, buffer, ret, 0);	// 将信息传给client

	return 0;
}
 

运行结果

连接之前

可以看到当没有client连接到server端的时候，server程序会自动阻塞起来不进行输出。

点击连接之后，并发送信息

可以看到当client连接到server之后，server端会打印连接的信息，并将连接的信息返回给client端，并结束程序，自动关闭程序。

非阻塞状态一个server对应一个client

此时不会等待accept连接
核心代码

 // 将socket设置为非阻塞
   int flags = fcntl(sockfd, F_GETFL, 0);
   flags |= O_NONBLOCK;
   fcntl(sockfd, F_SETFL, flags);

#include <stdio.h>
#include <errno.h>
#include <string.h>
#include <unistd.h>
#include <sys/socket.h>
#include <netinet/in.h>

#include <fcntl.h>
#include <pthread.h>

#include <sys/poll.h>
#include <sys/epoll.h>


#define BUFFER_LENGTH		1024

#define POLL_SIZE			1024


int main() {
   // 创建socket
   int sockfd = socket(AF_INET, SOCK_STREAM, 0); 

   struct sockaddr_in servaddr;
   memset(&servaddr, 0, sizeof(struct sockaddr_in)); // 清空
   servaddr.sin_family = AF_INET;	// 设置协议族为 IPV4
   servaddr.sin_addr.s_addr = htonl(INADDR_ANY); // 0.0.0.0
   servaddr.sin_port = htons(9999);	// 监听端口为 9999

   // 绑定好初始化的信息，出错就打印出错信息
   if (-1 == bind(sockfd, (struct sockaddr *)&servaddr, sizeof(struct sockaddr)))
   {
   	printf("bind failed: %s", strerror(errno));
   	return -1;
   }

   // 监听绑定好的信息
   listen(sockfd, 10);
   
   // 将socket设置为非阻塞
   int flags = fcntl(sockfd, F_GETFL, 0);
   flags |= O_NONBLOCK;
   fcntl(sockfd, F_SETFL, flags);

   // 为了保存 client的信息锁创建的结构
   struct sockaddr_in clientaddr;
   socklen_t len = sizeof(clientaddr);

   // 此时的 clientfd就是用来和 client通信的socket
   int clientfd = accept(sockfd, (struct sockaddr *)&clientaddr, &len);
   printf("accept,the clientfd is %d\n",clientfd);

   char buffer[BUFFER_LENGTH] = {0};
   int ret = recv(clientfd, buffer, BUFFER_LENGTH, 0);	// 接收client发来的信息
   printf("ret: %d, buffer: %s\n", ret, buffer);	// 本地打印client

   send(clientfd, buffer, ret, 0);	// 将信息传给client

   getchar(); //block
   return 0;

}

运行结果

可以看到此时还没有对服务器进行连接此时的服务器就已经输出内容了，这就是设置socket阻塞与非阻塞的差别之处。

此时点击连接,然后client再向server输出信息也是没有任何的用处了。

为了后续的方便信息展示，后面的程序都将设置socket非阻塞进行注释。

为什么要使用while循环来反复读取数据

可以看到上述两个程序在第一次读取信息之后（不论成功），server端就断开整个程序的连接了，正常的服务器程序肯定不可能只接收client的一条信息吧，所以我们需要增加一个while循环来一直进行读取数据，这也就是为什么服务器是7*24小时运行的关键之处

#include <stdio.h>
#include <errno.h>
#include <string.h>
#include <unistd.h>
#include <sys/socket.h>
#include <netinet/in.h>

#include <fcntl.h>
#include <pthread.h>

#include <sys/poll.h>
#include <sys/epoll.h>

#define BUFFER_LENGTH 1024

#define POLL_SIZE 1024

int main()
{
    // 创建socket
    int sockfd = socket(AF_INET, SOCK_STREAM, 0);

    struct sockaddr_in servaddr;
    memset(&servaddr, 0, sizeof(struct sockaddr_in)); // 清空
    servaddr.sin_family = AF_INET;                    // 设置协议族为 IPV4
    servaddr.sin_addr.s_addr = htonl(INADDR_ANY);     // 0.0.0.0
    servaddr.sin_port = htons(9999);                  // 监听端口为 9999

    // 绑定好初始化的信息，出错就打印出错信息
    if (-1 == bind(sockfd, (struct sockaddr *)&servaddr, sizeof(struct sockaddr)))
    {
        printf("bind failed: %s", strerror(errno));
        return -1;
    }

    // 监听绑定好的信息
    listen(sockfd, 10);

    // 将socket设置为非阻塞
    int flags = fcntl(sockfd, F_GETFL, 0);
    flags |= O_NONBLOCK;
    fcntl(sockfd, F_SETFL, flags);

    // 为了保存 client的信息锁创建的结构
    struct sockaddr_in clientaddr;
    socklen_t len = sizeof(clientaddr);

    // 此时的 clientfd就是用来和 client通信的socket
    int clientfd = accept(sockfd, (struct sockaddr *)&clientaddr, &len);
    printf("accept,the clientfd is %d\n", clientfd);

    while (1)
    {

        char buffer[BUFFER_LENGTH] = {0};
        int ret = recv(clientfd, buffer, BUFFER_LENGTH, 0); // 接收client发来的信息
        printf("ret: %d, buffer: %s\n", ret, buffer);       // 本地打印client

        send(clientfd, buffer, ret, 0); // 将信息传给client
    }

    getchar(); // block
    return 0;
}

运行结果

运行之前

此时是阻塞模式需要等待client连接到server才会打印信息。

连接之后

可以看到此时可以随意的对此程序进行读写操作

server不写close函数，当client调用close时server端会发生的情况

依旧是这一套代码，此时会发现server端会疯狂打印如下的信息，要解决此问题很简单，只需要在recv返回值为0（此时代表client主动关闭连接）时server在调用close函数即可。

多个client连接一个server

依旧使用这个程序，使用两个client连接server，此时可以发现只有一个client可以发数据，其余client发数据会被卡住

要想解决这个问题，就需要在while循环之中增加accept函数，但是此时又会出现一个问题，每次循环都会卡在accept之中，这就很值得思考了。

accept放在while循环中导致每次读写被accept阻塞解决思路

    此时就需要用到多线程了。server每接收到一个client的连接就可以创建一个线程去对哪一个client进行读写操作。

#include <stdio.h>
#include <errno.h>
#include <string.h>
#include <unistd.h>
#include <sys/socket.h>
#include <netinet/in.h>

#include <fcntl.h>
#include <pthread.h>

#include <sys/poll.h>
#include <sys/epoll.h>

#define BUFFER_LENGTH 1024

#define POLL_SIZE 1024

// 1 connection 1 thread
void *client_thread(void *arg)
{

    int clientfd = *(int *)arg;

    while (1)
    { // slave

        char buffer[BUFFER_LENGTH] = {0};
        int ret = recv(clientfd, buffer, BUFFER_LENGTH, 0);
        if (ret == 0)
        {
            close(clientfd);
            break;
        }

        printf("ret: %d, buffer: %s\n", ret, buffer);

        send(clientfd, buffer, ret, 0);
    }
}

int main()
{
    // 创建socket
    int sockfd = socket(AF_INET, SOCK_STREAM, 0);

    struct sockaddr_in servaddr;
    memset(&servaddr, 0, sizeof(struct sockaddr_in)); // 清空
    servaddr.sin_family = AF_INET;                    // 设置协议族为 IPV4
    servaddr.sin_addr.s_addr = htonl(INADDR_ANY);     // 0.0.0.0
    servaddr.sin_port = htons(9999);                  // 监听端口为 9999

    // 绑定好初始化的信息，出错就打印出错信息
    if (-1 == bind(sockfd, (struct sockaddr *)&servaddr, sizeof(struct sockaddr)))
    {
        printf("bind failed: %s", strerror(errno));
        return -1;
    }

    // 监听绑定好的信息
    listen(sockfd, 10);
#if 0
    // 将socket设置为非阻塞
    int flags = fcntl(sockfd, F_GETFL, 0);
    flags |= O_NONBLOCK;
    fcntl(sockfd, F_SETFL, flags);
#endif
    // 为了保存 client的信息锁创建的结构
    struct sockaddr_in clientaddr;
    socklen_t len = sizeof(clientaddr);
    while (1)
    { // master

        int clientfd = accept(sockfd, (struct sockaddr *)&clientaddr, &len);
#if 0 
		char buffer[BUFFER_LENGTH] = {0};
		int ret = recv(clientfd, buffer, BUFFER_LENGTH, 0);

		printf("ret: %d, buffer: %s\n", ret, buffer);

		send(clientfd, buffer, ret, 0);
#else

        pthread_t threadid;
        pthread_create(&threadid, NULL, client_thread, &clientfd);

#endif

    }
      getchar(); // block
        return 0;
}

此时可以看到连续三个client连接server，随意进行通信都能够完成正常的通信。

I/O多路复用——select

Q：什么是IO多路复?
A：多路IO转接服务器也叫做多任务IO服务器。该类服务器实现的主旨思想是，不再由应用程序自己监视客户端连接，取而代之由内核替应用程序监视文件。
主要使用的方法有三种：
    1.select
    2.poll
    3.epoll
后续的代码演示会结合博主之前封装的错误处理函数一起使用，大家可以参考链接

什么是 select

    select是一种IO多路复用的机制，通常被用于在单个线程中同时监听多个文件描述符（包括socket、标准输入输出、管道等）是否有数据可读或可写。当其中一个文件描述符有数据可读或可写时，select调用会返回并通知应用程序，应用程序可以通过读取或写入数据来进行相应的处理。

    1.select能监听的文件描述符个数受限于FD_SETSIZE,一般为1024，单纯改变进程打开的文件描述符个数并不能改变select监听文件个数
    2.解决1024以下客户端时使用select是很合适的，但如果链接客户端过多，select采用的是轮询模型，会大大降低服务器响应效率，不应在select上投入更多精力

select API浅析

#include <sys/select.h>
/* According to earlier standards */
#include <sys/time.h>
#include <sys/types.h>
#include <unistd.h>
int select(int nfds, fd_set *readfds, fd_set *writefds,
			fd_set *exceptfds, struct timeval *timeout);

	nfds: 		监控的文件描述符集里最大文件描述符加1，因为此参数会告诉内核检测前多少个文件描述符的状态
	readfds：	监控有读数据到达文件描述符集合，传入传出参数
	writefds：	监控写数据到达文件描述符集合，传入传出参数
	exceptfds：	监控异常发生达文件描述符集合,如带外数据到达异常，传入传出参数
	timeout：	定时阻塞监控时间，3种情况
				1.NULL，永远等下去
				2.设置timeval，等待固定时间
				3.设置timeval里时间均为0，检查描述字后立即返回，轮询
	struct timeval {
		long tv_sec; /* seconds */
		long tv_usec; /* microseconds */
	};
	void FD_CLR(int fd, fd_set *set); 	//把文件描述符集合里fd清0
	int FD_ISSET(int fd, fd_set *set); 	//测试文件描述符集合里fd是否置1
	void FD_SET(int fd, fd_set *set); 	//把文件描述符集合里fd位置1
	void FD_ZERO(fd_set *set); 			//把文件描述符集合里所有位清0

select 代码实现

server.c

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include "error_handling.h"

#define MAXLINE 80
#define SERV_PORT 6666

int main(int argc, char *argv[])
{
	int i, maxi, maxfd, listenfd, connfd, sockfd;
	int nready, client[FD_SETSIZE]; 	/* FD_SETSIZE 默认为 1024 */
	ssize_t n;
	fd_set rset, allset;
	char buf[MAXLINE];
	char str[INET_ADDRSTRLEN]; 			/* #define INET_ADDRSTRLEN 16 */
	socklen_t cliaddr_len;
	struct sockaddr_in cliaddr, servaddr;

	listenfd = Socket(AF_INET, SOCK_STREAM, 0);

bzero(&servaddr, sizeof(servaddr));
servaddr.sin_family = AF_INET;
servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
servaddr.sin_port = htons(SERV_PORT);

Bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr));

Listen(listenfd, 20); 		/* 默认最大128 */

maxfd = listenfd; 			/* 初始化 */
maxi = -1;					/* client[]的下标 */

for (i = 0; i < FD_SETSIZE; i++)
	client[i] = -1; 		/* 用-1初始化client[] */

FD_ZERO(&allset);
FD_SET(listenfd, &allset); /* 构造select监控文件描述符集 */

for ( ; ; ) {
	rset = allset; 			/* 每次循环时都从新设置select监控信号集 */
	nready = select(maxfd+1, &rset, NULL, NULL, NULL);

	if (nready < 0)
		perr_exit("select error");
	if (FD_ISSET(listenfd, &rset)) { /* new client connection */
		cliaddr_len = sizeof(cliaddr);
		connfd = Accept(listenfd, (struct sockaddr *)&cliaddr, &cliaddr_len);
		printf("received from %s at PORT %d\n",
				inet_ntop(AF_INET, &cliaddr.sin_addr, str, sizeof(str)),
				ntohs(cliaddr.sin_port));
		for (i = 0; i < FD_SETSIZE; i++) {
			if (client[i] < 0) {
				client[i] = connfd; /* 保存accept返回的文件描述符到client[]里 */
				break;
			}
		}
		/* 达到select能监控的文件个数上限 1024 */
		if (i == FD_SETSIZE) {
			fputs("too many clients\n", stderr);
			exit(1);
		}

		FD_SET(connfd, &allset); 	/* 添加一个新的文件描述符到监控信号集里 */
		if (connfd > maxfd)
			maxfd = connfd; 		/* select第一个参数需要 */
		if (i > maxi)
			maxi = i; 				/* 更新client[]最大下标值 */

		if (--nready == 0)
			continue; 				/* 如果没有更多的就绪文件描述符继续回到上面select阻塞监听,
										负责处理未处理完的就绪文件描述符 */
		}
		for (i = 0; i <= maxi; i++) { 	/* 检测哪个clients 有数据就绪 */
			if ( (sockfd = client[i]) < 0)
				continue;
			if (FD_ISSET(sockfd, &rset)) {
				if ( (n = Read(sockfd, buf, MAXLINE)) == 0) {
					Close(sockfd);		/* 当client关闭链接时，服务器端也关闭对应链接 */
					FD_CLR(sockfd, &allset); /* 解除select监控此文件描述符 */
					client[i] = -1;
				} else {
					int j;
					for (j = 0; j < n; j++)
						buf[j] = toupper(buf[j]);
					Write(sockfd, buf, n);
				}
				if (--nready == 0)
					break;
			}
		}
	}
	close(listenfd);
	return 0;
}

client.c

#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <netinet/in.h>
#include "error_handling.h"

#define MAXLINE 80
#define SERV_PORT 6666

int main(int argc, char *argv[])
{
	struct sockaddr_in servaddr;
	char buf[MAXLINE];
	int sockfd, n;

	sockfd = Socket(AF_INET, SOCK_STREAM, 0);

	bzero(&servaddr, sizeof(servaddr));
	servaddr.sin_family = AF_INET;
	inet_pton(AF_INET, "127.0.0.1", &servaddr.sin_addr);
	servaddr.sin_port = htons(SERV_PORT);

	Connect(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr));

	while (fgets(buf, MAXLINE, stdin) != NULL) {
		Write(sockfd, buf, strlen(buf));
		n = Read(sockfd, buf, MAXLINE);
		if (n == 0)
			printf("the other side has been closed.\n");
		else
			Write(STDOUT_FILENO, buf, n);
	}
	Close(sockfd);
	return 0;
}

I/O多路复用——poll

什么是 poll

poll也是一种IO多路复用的机制，与select类似，但在一些特定情况下可以有更好的性能表现。poll函数同样可以同时监听多个文件描述符是否有数据可读或可写，当其中一个文件描述符有数据可读或可写时，poll调用会返回并通知应用程序，应用程序可以通过读取或写入数据来进行相应的处理。

poll AIP浅析

#include <poll.h>
int poll(struct pollfd *fds, nfds_t nfds, int timeout);
	struct pollfd {
		int fd; /* 文件描述符 */
		short events; /* 监控的事件 */
		short revents; /* 监控事件中满足条件返回的事件 */
	};
	POLLIN			普通或带外优先数据可读,即POLLRDNORM | POLLRDBAND
	POLLRDNORM		数据可读
	POLLRDBAND		优先级带数据可读
	POLLPRI 		高优先级可读数据
	POLLOUT		普通或带外数据可写
	POLLWRNORM		数据可写
	POLLWRBAND		优先级带数据可写
	POLLERR 		发生错误
	POLLHUP 		发生挂起
	POLLNVAL 		描述字不是一个打开的文件

	nfds 			监控数组中有多少文件描述符需要被监控

	timeout 		毫秒级等待
		-1：阻塞等，#define INFTIM -1 				Linux中没有定义此宏
		0：立即返回，不阻塞进程
		>0：等待指定毫秒数，如当前系统时间精度不够毫秒，向上取值
如果不再监控某个文件描述符时，可以把pollfd中，fd设置为-1，poll不再监控此pollfd，下次返回时，把revents设置为0。

poll 代码实现

server.c

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <poll.h>
#include <errno.h>
#include "error_handling.h"

#define MAXLINE 80
#define SERV_PORT 6666
#define OPEN_MAX 1024

int main(int argc, char *argv[])
{
	int i, j, maxi, listenfd, connfd, sockfd;
	int nready;
	ssize_t n;
	char buf[MAXLINE], str[INET_ADDRSTRLEN];
	socklen_t clilen;
	struct pollfd client[OPEN_MAX];
	struct sockaddr_in cliaddr, servaddr;

	listenfd = Socket(AF_INET, SOCK_STREAM, 0);

	bzero(&servaddr, sizeof(servaddr));
	servaddr.sin_family = AF_INET;
	servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
	servaddr.sin_port = htons(SERV_PORT);

	Bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr));

	Listen(listenfd, 20);

	client[0].fd = listenfd;
	client[0].events = POLLRDNORM; 					/* listenfd监听普通读事件 */

	for (i = 1; i < OPEN_MAX; i++)
		client[i].fd = -1; 							/* 用-1初始化client[]里剩下元素 */
	maxi = 0; 										/* client[]数组有效元素中最大元素下标 */

	for ( ; ; ) {
		nready = poll(client, maxi+1, -1); 			/* 阻塞 */
		if (client[0].revents & POLLRDNORM) { 		/* 有客户端链接请求 */
			clilen = sizeof(cliaddr);
			connfd = Accept(listenfd, (struct sockaddr *)&cliaddr, &clilen);
			printf("received from %s at PORT %d\n",
					inet_ntop(AF_INET, &cliaddr.sin_addr, str, sizeof(str)),
					ntohs(cliaddr.sin_port));
			for (i = 1; i < OPEN_MAX; i++) {
				if (client[i].fd < 0) {
					client[i].fd = connfd; 	/* 找到client[]中空闲的位置，存放accept返回的connfd */
					break;
				}
			}

			if (i == OPEN_MAX)
				perr_exit("too many clients");

			client[i].events = POLLRDNORM; 		/* 设置刚刚返回的connfd，监控读事件 */
			if (i > maxi)
				maxi = i; 						/* 更新client[]中最大元素下标 */
			if (--nready <= 0)
				continue; 						/* 没有更多就绪事件时,继续回到poll阻塞 */
		}
		for (i = 1; i <= maxi; i++) { 			/* 检测client[] */
			if ((sockfd = client[i].fd) < 0)
				continue;
			if (client[i].revents & (POLLRDNORM | POLLERR)) {
				if ((n = Read(sockfd, buf, MAXLINE)) < 0) {
					if (errno == ECONNRESET) { /* 当收到 RST标志时 */
						/* connection reset by client */
						printf("client[%d] aborted connection\n", i);
						Close(sockfd);
						client[i].fd = -1;
					} else {
						perr_exit("read error");
					}
				} else if (n == 0) {
					/* connection closed by client */
					printf("client[%d] closed connection\n", i);
					Close(sockfd);
					client[i].fd = -1;
				} else {
					for (j = 0; j < n; j++)
						buf[j] = toupper(buf[j]);
						Writen(sockfd, buf, n);
				}
				if (--nready <= 0)
					break; 				/* no more readable descriptors */
			}
		}
	}
	return 0;
}

client.c

#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <netinet/in.h>
#include "error_handling.h"

#define MAXLINE 80
#define SERV_PORT 6666

int main(int argc, char *argv[])
{
	struct sockaddr_in servaddr;
	char buf[MAXLINE];
	int sockfd, n;

	sockfd = Socket(AF_INET, SOCK_STREAM, 0);

	bzero(&servaddr, sizeof(servaddr));
	servaddr.sin_family = AF_INET;
	inet_pton(AF_INET, "127.0.0.1", &servaddr.sin_addr);
	servaddr.sin_port = htons(SERV_PORT);

	Connect(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr));

	while (fgets(buf, MAXLINE, stdin) != NULL) {
		Write(sockfd, buf, strlen(buf));
		n = Read(sockfd, buf, MAXLINE);
		if (n == 0)
			printf("the other side has been closed.\n");
		else
			Write(STDOUT_FILENO, buf, n);
	}
	Close(sockfd);
	return 0;
}

I/O多路复用——epoll

什么是epoll

    epoll是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率，因为它会复用文件描述符集合来传递结果而不用迫使开发者每次等待事件之前都必须重新准备要被侦听的文件描述符集合，另一点原因就是获取事件的时候，它无须遍历整个被侦听的描述符集，只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。
    目前epell是linux大规模并发网络程序中的热门首选模型。
    epoll除了提供select/poll那种IO事件的电平触发（Level Triggered）外，还提供了边沿触发（Edge Triggered），这就使得用户空间程序有可能缓存IO状态，减少epoll_wait/epoll_pwait的调用，提高应用程序效率。
    可以使用cat命令查看一个进程可以打开的socket描述符上限。

cat /proc/sys/fs/file-max

#如有需要，可以通过修改配置文件的方式修改该上限值。
sudo vi /etc/security/limits.conf

#在文件尾部写入以下配置,soft软限制，hard硬限制。如下图所示（后续也会提到）。
	* soft nofile 1048576
	* hard nofile 1048576
#

epoll API浅析

//1.创建一个epoll句柄，参数size用来告诉内核监听的文件描述符的个数，跟内存大小有关。
	#include <sys/epoll.h>
	int epoll_create(int size)		size：监听数目
//2.控制某个epoll监控的文件描述符上的事件：注册、修改、删除。
	#include <sys/epoll.h>
	int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)
		epfd：	为epoll_creat的句柄
		op：		表示动作，用3个宏来表示：
			EPOLL_CTL_ADD (注册新的fd到epfd)，
			EPOLL_CTL_MOD (修改已经注册的fd的监听事件)，
			EPOLL_CTL_DEL (从epfd删除一个fd)；
		event：	告诉内核需要监听的事件

		struct epoll_event {
			__uint32_t events; /* Epoll events */
			epoll_data_t data; /* User data variable */
		};
		typedef union epoll_data {
			void *ptr;
			int fd;
			uint32_t u32;
			uint64_t u64;
		} epoll_data_t;

		EPOLLIN ：	表示对应的文件描述符可以读（包括对端SOCKET正常关闭）
		EPOLLOUT：	表示对应的文件描述符可以写
		EPOLLPRI：	表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）
		EPOLLERR：	表示对应的文件描述符发生错误
		EPOLLHUP：	表示对应的文件描述符被挂断；
		EPOLLET： 	将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)而言的
		EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里

//3.等待所监控文件描述符上有事件的产生，类似于select()调用
	#include <sys/epoll.h>
	int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout)
		events：		用来存内核得到事件的集合，
		maxevents：	告之内核这个events有多大，这个maxevents的值不能大于创建epoll_create()时的size，
		timeout：	是超时时间
			-1：	阻塞
			0：	立即返回，非阻塞
			>0：	指定毫秒
		返回值：	成功返回有多少文件描述符就绪，时间到时返回0，出错返回-1

epoll 代码实现

server.c

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#include <errno.h>
#include "error_handling.h"

#define MAXLINE 80
#define SERV_PORT 6666
#define OPEN_MAX 1024

int main(int argc, char *argv[])
{
	int i, j, maxi, listenfd, connfd, sockfd;
	int nready, efd, res;
	ssize_t n;
	char buf[MAXLINE], str[INET_ADDRSTRLEN];
	socklen_t clilen;
	int client[OPEN_MAX];
	struct sockaddr_in cliaddr, servaddr;
	struct epoll_event tep, ep[OPEN_MAX];

	listenfd = Socket(AF_INET, SOCK_STREAM, 0);

	bzero(&servaddr, sizeof(servaddr));
	servaddr.sin_family = AF_INET;
	servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
	servaddr.sin_port = htons(SERV_PORT);

	Bind(listenfd, (struct sockaddr *) &servaddr, sizeof(servaddr));

	Listen(listenfd, 20);

	for (i = 0; i < OPEN_MAX; i++)
		client[i] = -1;
	maxi = -1;

	efd = epoll_create(OPEN_MAX);
	if (efd == -1)
		perr_exit("epoll_create");

	tep.events = EPOLLIN; tep.data.fd = listenfd;

	res = epoll_ctl(efd, EPOLL_CTL_ADD, listenfd, &tep);
	if (res == -1)
		perr_exit("epoll_ctl");

	while (1) {
		nready = epoll_wait(efd, ep, OPEN_MAX, -1); /* 阻塞监听 */
		if (nready == -1)
			perr_exit("epoll_wait");

		for (i = 0; i < nready; i++) {
			if (!(ep[i].events & EPOLLIN))
				continue;
			if (ep[i].data.fd == listenfd) {
				clilen = sizeof(cliaddr);
				connfd = Accept(listenfd, (struct sockaddr *)&cliaddr, &clilen);
				printf("received from %s at PORT %d\n", 
						inet_ntop(AF_INET, &cliaddr.sin_addr, str, sizeof(str)), 
						ntohs(cliaddr.sin_port));
				for (j = 0; j < OPEN_MAX; j++) {
					if (client[j] < 0) {
						client[j] = connfd; /* save descriptor */
						break;
					}
				}

				if (j == OPEN_MAX)
					perr_exit("too many clients");
				if (j > maxi)
					maxi = j; 		/* max index in client[] array */

				tep.events = EPOLLIN; 
				tep.data.fd = connfd;
				res = epoll_ctl(efd, EPOLL_CTL_ADD, connfd, &tep);
				if (res == -1)
					perr_exit("epoll_ctl");
			} else {
				sockfd = ep[i].data.fd;
				n = Read(sockfd, buf, MAXLINE);
				if (n == 0) {
					for (j = 0; j <= maxi; j++) {
						if (client[j] == sockfd) {
							client[j] = -1;
							break;
						}
					}
					res = epoll_ctl(efd, EPOLL_CTL_DEL, sockfd, NULL);
					if (res == -1)
						perr_exit("epoll_ctl");

					Close(sockfd);
					printf("client[%d] closed connection\n", j);
				} else {
					for (j = 0; j < n; j++)
						buf[j] = toupper(buf[j]);
					Writen(sockfd, buf, n);
				}
			}
		}
	}
	close(listenfd);
	close(efd);
	return 0;
}

client.c

#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <netinet/in.h>
#include "error_handling.h"

#define MAXLINE 80
#define SERV_PORT 6666

int main(int argc, char *argv[])
{
	struct sockaddr_in servaddr;
	char buf[MAXLINE];
	int sockfd, n;

	sockfd = Socket(AF_INET, SOCK_STREAM, 0);

	bzero(&servaddr, sizeof(servaddr));
	servaddr.sin_family = AF_INET;
	inet_pton(AF_INET, "127.0.0.1", &servaddr.sin_addr);
	servaddr.sin_port = htons(SERV_PORT);

	Connect(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr));

	while (fgets(buf, MAXLINE, stdin) != NULL) {
		Write(sockfd, buf, strlen(buf));
		n = Read(sockfd, buf, MAXLINE);
		if (n == 0)
			printf("the other side has been closed.\n");
		else
			Write(STDOUT_FILENO, buf, n);
	}

	Close(sockfd);
	return 0;
}

epoll进阶知识点

事件模型

    epoll有两种模型：

1. Edge Triggered (ET) 边缘触发只有数据到来才触发，不管缓存区中是否还有数据。
2. Level Triggered (LT) 水平触发只要有数据都会触发。
   具体实例等待后面的博客再详细介绍。

reactor事件驱动与epoll的关系

具体实例等待后面的博客再详细介绍。

select、poll、epoll三者对比

select

select是最古老的一种I/O多路复用技术，它使用位图来记录文件描述符的状态，支持的文件描述符数量有限（通常是1024），并且每次调用select都需要将所有待检测的文件描述符从用户态拷贝到内核态，这样会带来较大的开销。另外，select返回时需要遍历整个位图来寻找可读/可写的文件描述符，这也会带来一定的开销。

poll

poll相对于select来说可以支持的文件描述符数量更大，理论上没有上限，但是每次调用poll仍然需要将所有待检测的文件描述符从用户态拷贝到内核态。另外，与select类似，poll返回时也需要遍历整个数组来寻找可读/可写的文件描述符，这与文件描述符数量成正比，所以在大量文件描述符时，效率会变得很低。

epoll

epoll是Linux 2.6内核引入的新特性，它使用基于事件驱动的方式进行操作，支持较高的并发连接数，而不受文件描述符数量的限制。在epoll中，用户态的文件描述符列表被注册到内核中，每当有事件发生时，内核会通知用户态，这样就避免了select和poll中需要反复遍历数组的问题。另外，epoll还支持三种模式：EPOLL_ET（边缘触发），EPOLL_LT（水平触发）和EPOLLONESHOT（单次触发），可以根据具体情况选择不同的模式进行操作。

综上所述，选择何种I/O多路复用技术应考虑到具体的场景需求，但是从效率和性能角度来看，epoll更为优越。

文章参考与<零声教育>的C/C++linux服务期高级架构系统教程学习: 链接