6.2 I/O多路复用select模型
6.2.1函数原型
该函数准许进程指示内核监听多个文件描述符中产生事件的fd,并在有一个或多个事件发生或经历一段指定的时间后才唤醒。函数原型如下:
/* According to POSIX.1-2001, POSIX.1-2008 */ #include <sys/select.h> #include <sys/time.h>
int select(int maxfdp1, fd_set *readset, fd_set *writeset, fd_set *exceptset,const struct timeval *timeout) | ||||||||||||
返回值:就绪描述符的数目,超时返回0;出错返回-1并设置erron:
| ||||||||||||
参数: (1)第一个参数maxfdp1指定待测试的描述字个数,它的值是待测试的最大描述字加1(因此把该参数命名为maxfdp1),描述字0、1、2...maxfdp1-1均将被测试。因为文件描述符是从0开始的。 (2)中间的三个参数readset、writeset和exceptset指定我们要让内核测试读、写和异常条件的描述字。如果对某一个的条件不感兴趣,就可以把它设为空指针。struct fd_set可以理解为一个集合,这个集合中存放的是文件描述符,可通过以下四个宏进行设置:
(3)timeout告知内核等待所指定描述字中的任何一个就绪可花多少时间。其timeval结构用于指定这段时间的秒数和微秒数。
这个参数有三种可能: (1)永远等待下去:仅在有一个描述字准备好I/O时才返回。为此,把该参数设置为空指针NULL。 (2)等待一段固定时间:在有一个描述字准备好I/O时返回,但是不超过由该参数所指向的timeval结构中指定的秒数和微秒数。 (3)根本不等待:检查描述字后立即返回,这称为轮询。为此,该参数必须指向一个timeval结构,而且其中的定时器值必须为0。 |
6.2.2 fd_set及FD_XXX宏函数分析
fd_set结构:
/*windows 下 fd_set定义*/ typedef struct fd_set{ u_int fd_count; int fd_array[FD_SETSIZE]; } fd_count为fd_set结构中包含的套接字个数,fd_array唯一个int 数组,包含了我们要监听的套接字。 |
/* on linux. fd_set for select and pselect. */ typedef struct { // __fd_mask == long int , __FD_SETSIZE==1024, __NFDBITS == 8*sizeof __fd_mask __fd_mask fds_bits[__FD_SETSIZE / __NFDBITS]; # define __FDS_BITS(set) ((set)->fds_bits) } fd_set; // 其中,fds_bits并不是用于存放fd的数组,而是一个bitmap对象,关于bitmap算法参考。由于linux中默认的进程文件描述符的最大数量为__FD_SETSIZE 1024,且fd的值对进程唯一(虽然fd是内核资源,但是操作系统为每个进程单独建立fd的映射表记录进程打开的文件描述符,所以对进程来说fd是唯一的),为了提高select搜索效率使用bitmap算法,记录进行io复用检测的fd索引,由于bitmap的依托于__fd_mask类型32位数据,相当于bitmap的列为64,于是行为1024/64==16。 // 由此可见,select系统调用的内部运行模式大致为,从__readfds,__writefds及__exceptfds三个bitmap读入检测fd的索引号(即fd值),然后对照索引号去逐个排查进程的fd索引表(进程fd值<-->OS内核fd值)中fd是否有事件发生,将未发生事件的fd索引号置零,所以select返回的bitmap中只剩下发生事件的fd索引号。另外select调用的第一个参数应该是用于提前停止索引。 |
首先每次调用select前,都应该调用FD_ZERO(fdsp)清空fd_set。宏函数使用for循环将bitmap数组置零,之所以不使用memset因为,不想为了这个而引入一个函数原型,且数组元素个比较少。
其次我们需要使用FD_SET将我们要监听的套接字添加到fd_set结构中:
fd_set readfd; FD_SET(fd, &readfd); // 即将fd_setbitmap中相应位置1 |
或者当我们决定不监听某个fd的io时,调用FD_CLR(fd, &readfd),从fd_set表示的bitmap中将对应位置0,即移除对fd的io监听。
然后调用select函数,其中max_fd为我们要监听的套接字中值最大的一个,同时在调用select是要将其加1,readfd即为我们监听的要进行读操作的套接字连接,第三个参数是我们监听的要进行写操作的套接字连接,第四个参数用于异常,而最后一个参数可以用来设定超时,这里同样使用了struct timeval结构,可以实现与前面介绍的同样的效果。这里如果连接进来的话select即返回一个大于零的值,然后我们调用FD_ISSET宏来检测具体是那一个套接字有数据进来(FD_ISSET返回非零值)。
select(max_fd + 1, &readfd, NULL, NULL, NULL); //具体参数可以man,或查看MSDN |
最后得到结果后为了从bitmap中获取检测结果,需要调用FD_ISSET检测某个fd是否发生事件:
FD_ISSET(fd, &readfd); // 检测fd在不在readfd中,即检测fd有无对应事件发生,通过检查对应位是否置1实现 |
6.2.3 select模型使用流程的分析
select使用原理
如上图,select模型的使用基本围绕fd_set对象的操作。首先用户必须维护三种不同的fd(可读、可写、可发生异常),每次调用select前都必须将3种fd分别加入三个fd_set。这个过程最简单的处理方案就是将所有需要进行io监视的fd及其所关联的io事件组成链表,每次调用select前,遍历链表,根据fd关联事件将对应fd_set的位置1。但是这样做的缺点是,每次都需要遍历所有的fd,在是应用场景中一旦开始某个fd的io事件监听,在一段时间对其的监听将会持续,因此没有必要每次调用select前都重复遍历。
<实例>
写一个TCP回显程序,程序的功能是:客户端向服务器发送信息,服务器接收并原样发送给客户端,客户端显示出接收到的信息。
服务端 |
#include <stdio.h> #include <stdlib.h> #include <string.h> #include <errno.h> #include <netinet/in.h> #include <sys/socket.h> #include <sys/select.h> #include <sys/types.h> #include <netinet/in.h> #include <arpa/inet.h> #include <unistd.h> #include <assert.h>
#define IPADDR "127.0.0.1" #define PORT 8787 #define MAXLINE 1024 #define LISTENQ 5 #define SIZE 10
typedef struct server_context_st{ int cli_cnt; /*客户端个数*/ int clifds[SIZE]; /*客户端的个数*/ fd_set allfds; /*句柄集合*/ int maxfd; /*句柄最大值*/ } server_context_st; static server_context_st *s_srv_ctx = NULL;
static int create_server_proc(const char* ip,int port){ int fd; struct sockaddr_in servaddr; fd = socket(AF_INET, SOCK_STREAM,0); if (fd == -1) { fprintf(stderr, "create socket fail,erron:%d,reason:%s\n", errno, strerror(errno)); return -1; } /*一个端口释放后会等待两分钟之后才能再被使用,SO_REUSEADDR是让端口释放后立即就可以被再次使用。*/ int reuse = 1; if (setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, &reuse, sizeof(reuse)) == -1) { return -1; }
bzero(&servaddr,sizeof(servaddr)); servaddr.sin_family = AF_INET; inet_pton(AF_INET,ip,&servaddr.sin_addr); servaddr.sin_port = htons(port);
if (bind(fd,(struct sockaddr*)&servaddr,sizeof(servaddr)) == -1) { perror("bind error: "); return -1; }
listen(fd,LISTENQ);
return fd; } static int accept_client_proc(int srvfd){ struct sockaddr_in cliaddr; socklen_t cliaddrlen; cliaddrlen = sizeof(cliaddr); int clifd = -1;
printf("accpet clint proc is called.\n");
ACCEPT: clifd = accept(srvfd,(struct sockaddr*)&cliaddr,&cliaddrlen);
if (clifd == -1) { if (errno == EINTR) { // 系统调用被中断,需要重新进行 goto ACCEPT; } else { fprintf(stderr, "accept fail,error:%s\n", strerror(errno)); return -1; } }
fprintf(stdout, "accept a new client: %s:%d\n", inet_ntoa(cliaddr.sin_addr),cliaddr.sin_port);
//将新的连接描述符添加到数组中 int i = 0; for (i = 0; i < SIZE; i++) { if (s_srv_ctx->clifds[i] < 0) { s_srv_ctx->clifds[i] = clifd; s_srv_ctx->cli_cnt++; break; } }
if (i == SIZE) { fprintf(stderr,"too many clients.\n"); return -1; } } static int handle_client_msg(int fd, char *buf) { assert(buf); printf("recv buf is :%s\n", buf); write(fd, buf, strlen(buf) +1); return 0; } static void recv_client_msg(fd_set *readfds) { int i = 0, n = 0; int clifd; char buf[MAXLINE] = {0}; for (i = 0;i <= s_srv_ctx->cli_cnt;i++) { clifd = s_srv_ctx->clifds[i]; if (clifd < 0) { continue; } /*判断客户端套接字是否有数据*/ if (FD_ISSET(clifd, readfds)) { //接收客户端发送的信息 n = read(clifd, buf, MAXLINE); if (n <= 0) { /*n==0表示读取完成,客户都关闭套接字*/ FD_CLR(clifd, &s_srv_ctx->allfds); close(clifd); s_srv_ctx->clifds[i] = -1; continue; } handle_client_msg(clifd, buf); } } } static void handle_client_proc(int srvfd) { int clifd = -1; int retval = 0; fd_set *readfds = &s_srv_ctx->allfds; struct timeval tv; int i = 0;
while (1) { /*每次调用select前都要重新设置文件描述符和时间,因为事件发生后,文件描述符和时间都被内核修改啦*/ FD_ZERO(readfds); /*添加监听套接字*/ FD_SET(srvfd, readfds); s_srv_ctx->maxfd = srvfd;
tv.tv_sec = 30; tv.tv_usec = 0; /*添加客户端套接字*/ for (i = 0; i < s_srv_ctx->cli_cnt; i++) { clifd = s_srv_ctx->clifds[i]; /*去除无效的客户端句柄*/ if (clifd != -1) { FD_SET(clifd, readfds); } s_srv_ctx->maxfd = (clifd > s_srv_ctx->maxfd ? clifd : s_srv_ctx->maxfd); } /*开始轮询接收处理服务端和客户端套接字*/ retval = select(s_srv_ctx->maxfd + 1, readfds, NULL, NULL, &tv); if (retval == -1) { fprintf(stderr, "select error:%s.\n", strerror(errno)); return; } if (retval == 0) { fprintf(stdout, "select is timeout.\n"); continue; } if (FD_ISSET(srvfd, readfds)) { /*监听客户端请求*/ accept_client_proc(srvfd); } else { /*接受处理客户端消息*/ recv_client_msg(readfds); } } } static void server_uninit() { if (s_srv_ctx) { free(s_srv_ctx); s_srv_ctx = NULL; } } static int server_init() { s_srv_ctx = (server_context_st *)malloc(sizeof(server_context_st)); if (s_srv_ctx == NULL) { return -1; }
memset(s_srv_ctx, 0, sizeof(server_context_st));
int i = 0; for (;i < SIZE; i++) { s_srv_ctx->clifds[i] = -1; }
return 0; }
int main(int argc,char *argv[]) { int srvfd; /*初始化服务端context*/ if (server_init() < 0) { return -1; } /*创建服务,开始监听客户端请求*/ srvfd = create_server_proc(IPADDR, PORT); if (srvfd < 0) { fprintf(stderr, "socket create or bind fail.\n"); goto err; } /*开始接收并处理客户端请求*/ handle_client_proc(srvfd); server_uninit(); return 0; err: server_uninit(); return -1; } |
客户端 |
#include <netinet/in.h> #include <sys/socket.h> #include <stdio.h> #include <string.h> #include <stdlib.h> #include <sys/select.h> #include <time.h> #include <unistd.h> #include <sys/types.h> #include <errno.h>
#define MAXLINE 1024 #define IPADDRESS "127.0.0.1" #define SERV_PORT 8787
#define max(a,b) (a > b) ? a : b
static void handle_recv_msg(int sockfd, char *buf) { printf("client recv msg is:%s\n", buf); sleep(5); write(sockfd, buf, strlen(buf) +1); } static void handle_connection(int sockfd) { char sendline[MAXLINE],recvline[MAXLINE]; int maxfdp,stdineof; fd_set readfds; int n; struct timeval tv; int retval = 0;
while (1) { FD_ZERO(&readfds); FD_SET(sockfd,&readfds); maxfdp = sockfd;
tv.tv_sec = 5; tv.tv_usec = 0;
retval = select(maxfdp+1,&readfds,NULL,NULL,&tv);
if (retval == -1) { return ; }
if (retval == 0) { printf("client timeout.\n"); continue; }
if (FD_ISSET(sockfd, &readfds)) { n = read(sockfd,recvline,MAXLINE); if (n <= 0) { fprintf(stderr,"client: server is closed.\n"); close(sockfd); FD_CLR(sockfd,&readfds); return; }
handle_recv_msg(sockfd, recvline); } } }
int main(int argc,char *argv[]) { int sockfd; struct sockaddr_in servaddr;
sockfd = socket(AF_INET,SOCK_STREAM,0);
bzero(&servaddr,sizeof(servaddr)); servaddr.sin_family = AF_INET; servaddr.sin_port = htons(SERV_PORT); inet_pton(AF_INET,IPADDRESS,&servaddr.sin_addr);
int retval = 0; retval = connect(sockfd,(struct sockaddr*)&servaddr,sizeof(servaddr)); if (retval < 0) { fprintf(stderr, "connect fail,error:%s\n", strerror(errno)); return -1; }
printf("client send to server .\n"); write(sockfd, "hello server", 32);
handle_connection(sockfd);
return 0; } |
程序结果:
启动服务程序,执行三个个客户程序进行测试,结果如下图所示: