一、IO多路复用
IO多路复用(IO multiplexing)是一种常用的提高网络编程效率和扩展性的技术,常用的两种实现方式是select函数和poll函数。
进程中如果同时需要处理多路输入输出流,在使用单进程单线程的情况下,同时处理多个输入输出请求。
在无法用多进程多线程,可以选择用IO多路复用;由于不需要创建新的进程和线程,减少系统的资源开销,减少上下文切换的次数。
a.上下文:运行一个进程所需要的所有资源
b.上下文切换:从A进程切换到B进程,A进程的资源要完全替换成B进程的,是一个耗时操作允许同时对多个I0进行操作,内核一旦发现进程执行一个或多个I0事件,会通知该进程。
在TCP服务器中,IO多路复用常用于监听多个客户端连接请求以及同时处理服务器的响应和标准输入事件。当有新的客户端连接请求时,服务器会使用IO多路复用等待事件发生,然后通过accept函数接收客户端的连接请求,并将新的客户端加入到读集合中,以便后续与客户端的通信。
客户端首先要连接到服务器,然后将标准输入和socket加入读集合中,以等待事件发生。如果是标准输入事件,则从标准输入读取数据并通过send函数发送至服务器;如果是socket事件,则使用recv函数接收服务器的响应数据并输出。
1.select函数
对于select函数而言,服务器将其监听的socket加入读集合中,然后调用select函数等待读事件发生,如果有读事件发生则处理相应的客户端请求,并将其从读集合中移除。在处理客户端请求时,首先会检查该客户端是否断开连接,如果已经断开则需要将其移除,并关闭相应的socket。
如果客户端发送数据,则可以使用send函数发送数据至客户端。客户端将标准输入和socket加入读集合中,然后调用select函数等待读事件发生,如果有读事件发生则处理相应的事件,并将其从读集合中移除。在与服务器通信时,需要注意数据传输的粘包问题,可以采用消息协议或者使用一些特殊字符来分隔数据段。
TCP服务器代码如下:
#include<stdio.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <string.h>
#include <unistd.h>
#include <sys/select.h>
#include <sys/time.h>
#define ERR_MSG(msg) do{\
fprintf(stderr,"line:%d ",__LINE__);\
perror(msg);\
}while(0)
#define PORT 5555
#define IP "192.168.8.113"
int main(int argc, const char *argv[])
{
//创建流式套接字
int sfd = socket(AF_INET,SOCK_STREAM,0);
if(sfd < 0)
{
ERR_MSG("socket");
return -1;
}
printf("套接字创建成功 sfd=%d\n",sfd);
//设置允许端口快速被重用
int reuse = 1;
if(setsockopt(sfd,SOL_SOCKET,SO_REUSEADDR,&reuse,sizeof(reuse))< 0)
{
ERR_MSG("setsockopt");
return -1;
}
//填充服务器的地址信息结构体
//真实的地址信息结构体根据地址族执行,AF_INET:man 7 ip
struct sockaddr_in sin;
sin.sin_family = AF_INET;
sin.sin_port = htons(PORT);
sin.sin_addr.s_addr = inet_addr(IP);
//绑定----必须绑定
if(bind(sfd,(struct sockaddr*)&sin,sizeof(sin)) < 0)
{
ERR_MSG("bind");
return -1;
}
printf("绑定成功\n");
//套接字设置为监听状态
if(listen(sfd,128)< 0)
{
ERR_MSG("listen");
return -1;
}
printf("监听成功\n");
fd_set readfds,tempfds; //设置读集合
//由于fd_set是一个结构体中是long类型的数组,集合中需要存储[0.1023]的整型文件描述符
//需要将集合中的数据初始化成无意义的整数形式
FD_ZERO(&readfds); //清空集合
FD_ZERO(&tempfds); //清空集合
//将需要监测的文件描述符填充到读集合中
FD_SET(0,&readfds);
FD_SET(sfd,&readfds);
int s_res = 0;
char buf[128]="";
struct sockaddr_in cin; //存储客户端信息
socklen_t addrlen = sizeof(cin);
int newfd = 1;
ssize_t res =0;
while(1)
{
tempfds = readfds;
//让内核去监测集合中的文件描述符是否准备就绪
s_res = select(sfd+1,&tempfds,NULL,NULL,NULL);
if(s_res < 0)
{
ERR_MSG("select");
return -1;
}
else if(0 == s_res)
{
printf("超时---\n");
break;
}
//能运行到当前位置,则代表集合中有文件描述符准备就绪
//需要判断哪个文件描述符准备就绪,就走对应的处理函数即可。
//当集合中的文件描述符准备就绪后,集合中会只剩下产生事件的文件描述符
//若o准备就绪,则集合中只剩下o//若sfd准备就绪,则集合中只剩下sfd
//若0和sfd均准备就绪,则集合中0和sfd均存在。
//只需要判断集合中剩下哪个文件描述符,走对应函数即可
int maxfd =sfd;
for(int i=4;i<=maxfd;i++)
{
if(!FD_ISSET(i,&tempfds))
continue;
//能运行到当前位置,则说明i所代表的文件描述符在tempfds集合中
//0~maxfd:键盘输入事件 客户端连接事件 客户端交互事件
if(0 == i)
{
printf("触发键盘输入事件\n");
fgets(buf, sizeof(buf), stdin);
buf[strlen(buf)-1] = 0;
printf("buf = %s\n", buf);
}
//两个事件有可能同时触发
else if(i == sfd)
{
printf("触发客户端连接事件\n");
//该文件描述符才是与客户端通信的文件描述符。
//从已完成连接的队列里面,获取一个客户端信息,生成一个新的文件描述符
newfd = accept(sfd,(struct sockaddr*)&cin,&addrlen);
if(newfd < 0)
{
perror("accept");
return -1;
}
printf("[%s:%d] 客户端连接成功 newfd=%d %d\n",\
inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), newfd,__LINE__);
//将新生成的newfd添加到readfds中,并让select函数监测
FD_SET(newfd,&readfds);
//更新maxfd
maxfd=maxfd<newfd?newfd:maxfd;
}
//除上述情况,剩下的是与客户端通信的新建套接字
else
{
printf("触发客户端交互事件 __%d__\n",__LINE__);
bzero(buf,sizeof(buf));
//接收数据
res = recv(i,buf,sizeof(buf),0);
if(res < 0)
{
ERR_MSG("recv");
return -1;
}
else if(0 == res)
{
printf("[%s:%d] 客户端下线 newfd=%d__%d__\n",\
inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), i,__LINE__);
//关闭文件描述符,把i代表的文件描述符从集合中删除
close(i);
FD_CLR(i,&readfds);
//更新maxfd
int j=maxfd;
for(;i>=0;j--)
{
if(FD_ISSET(j,&readfds))
{
break;
}
}
maxfd = j;
continue;
}
printf("[%s:%d] 客户端下线 newfd=%d:%s,__%d__\n",\
inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), i,buf,__LINE__);
//发送数据
if(send(i,buf,sizeof(buf),0) < 0)
{
ERR_MSG("send");
return -1;
}
printf("发送成功\n");
}
}
}
}
TCP客户端代码如下:
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <sys/select.h>
#define ERR_MSG(msg) do{\
fprintf(stderr,"line:%d ",__LINE__);\
perror(msg);\
}while(0)
#define PORT 5555
#define IP "192.168.8.113"
int main()
{
//创建socket
int sfd = socket(AF_INET, SOCK_STREAM, 0);
if(sfd < 0) {
ERR_MSG("socket");
return -1;
}
//填充服务器地址结构体
struct sockaddr_in sin;
sin.sin_family = AF_INET;
sin.sin_port = htons(PORT);
sin.sin_addr.s_addr = inet_addr(IP);
//连接服务器
if(connect(sfd, (struct sockaddr*)&sin, sizeof(sin)) < 0)
{
ERR_MSG("connect");
close(sfd);
return -1;
}
//初始化读集合
fd_set readfds, tempfds;
FD_ZERO(&readfds);
FD_ZERO(&tempfds);
FD_SET(0, &readfds);
FD_SET(sfd, &readfds);
char buf[1024] = "";
//进入循环体
while(1)
{
tempfds = readfds;
select(sfd+1, &tempfds, NULL, NULL, NULL);
//检测键盘输入事件
if(FD_ISSET(0, &tempfds))
{
printf("触发键盘输入事件\n");
fgets(buf, sizeof(buf), stdin);
buf[strlen(buf)-1] = '\0';
//发送数据
if(send(sfd, buf, strlen(buf), 0) < 0)
{
ERR_MSG("send");
return -1;
}
printf("发送成功\n");
}
//检测服务器的响应事件
if(FD_ISSET(sfd, &tempfds))
{
printf("触发服务器响应事件\n");
bzero(buf, sizeof(buf));
//接收数据
if(recv(sfd, buf, sizeof(buf), 0) < 0)
{
ERR_MSG("recv");
return -1;
}
else if(strlen(buf) == 0)
{
//说明服务器已经下线,客户端也需要关闭
printf("服务器下线,客户端即将关闭...\n");
break;
}
printf("收到服务器消息:%s\n", buf);
}
}
//关闭socket
close(sfd);
return 0;
}
2.poll函数
对于poll函数而言,在处理客户端请求时流程与select类似,但是其API使用更简洁,使用起来更加方便。在处理IO事件的流程上与select类似,但是其API更简单,使用起来更方便,可以提高编程效率。
TCP服务器代码如下:
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <errno.h>
#include <poll.h>
#define ERR_MSG(msg) do{\
fprintf(stderr,"line:%d ",__LINE__);\
perror(msg);\
}while(0)
#define PORT 5555
#define IP "192.168.8.113"
int main(int argc, const char *argv[])
{
//创建socket
int sfd = socket(AF_INET, SOCK_STREAM, 0);
if(sfd < 0)
{
ERR_MSG("socket");
return -1;
}
//填充服务器的地址信息结构体
//真实的地址信息结构体根据地址族执行,AF_INET:man 7 ip
struct sockaddr_in sin;
sin.sin_family = AF_INET;
sin.sin_port = htons(PORT);
sin.sin_addr.s_addr = inet_addr(IP);
//绑定----必须绑定
if(bind(sfd,(struct sockaddr*)&sin,sizeof(sin)) < 0)
{
ERR_MSG("bind");
return -1;
}
printf("绑定成功\n");
//套接字设置为监听状态
if(listen(sfd,128)< 0)
{
ERR_MSG("listen");
return -1;
}
printf("监听成功\n");
//创建集合
struct pollfd fds[2];
fds[0].fd = 0; //将0号文件描述符添加到集合
fds[0].events = POLLIN; //读事件
fds[1].fd = sfd; //将sfd添加到集合中
fds[1].events = POLLIN; //读事件
char buf[128]="";
ssize_t res = -1;
int p_res = 0;
while (1)
{
int ret = poll(fds,2, -1);
if(p_res < 0)
{
ERR_MSG("poll");
break;
}
else if(0 == p_res)
{
printf("poll timeout\n");
continue;
}
int newfd;
// 检测是否有新的连接请求
if(fds[0].revents & POLLIN)
{
memset(&sin, 0, sizeof(buf));
socklen_t len = sizeof(buf);
newfd = accept(sfd, (struct sockaddr*)&sin, &len);
if(newfd == -1)
{
ERR_MSG("accept");
continue;
}
printf("new connection from %s:%d, sfd: %d\n", inet_ntoa(sin.sin_addr), ntohs(sin.sin_port), newfd);
// 将客户端套接字添加到集合中
for(int i = 0; i <2 ; i++)
{
if(fds[i].fd == -1)
{
fds[i].fd = newfd;
fds[i].events = POLLIN;
break;
}
}
}
// 循环处理已连接的客户端
for(int i = 0; i <2;i++)
{
if(fds[i].fd != -1 && (fds[i].revents & POLLIN))
{
memset(buf, 0, sizeof(buf));
// 接收客户端数据
int n = recv(fds[i].fd, buf,128, 0);
if(n <= 0)
{
// 客户端关闭连接或出错,将其从集合中移除
close(fds[i].fd);
fds[i].fd = -1;
fds[i].events = 0;
printf("client %d quit\n", i);
continue;
}
// 打印从客户端接收到的数据
printf("received from client %d: %s\n", i, buf);
// 将接收到的数据原样发回给客户端
send(fds[i].fd, buf, strlen(buf), 0);
}
}
}
close(sfd);
return 0;
}
TCP客户端代码如下:
#include<stdio.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <string.h>
#include <unistd.h>
#include <poll.h>
#define ERR_MSG(msg) do{\
fprintf(stderr,"line:%d ",__LINE__);\
perror(msg);\
}while(0)
#define PORT 5555
#define IP "192.168.8.113"
int main(int argc, const char *argv[])
{
//创建流式套接字
int cfd = socket(AF_INET,SOCK_STREAM,0);
if(cfd < 0)
{
ERR_MSG("socket");
return -1;
}
printf("套接字创建成功 cfd=%d\n",cfd);
//填充服务器的地址信息结构体
//真实的地址信息结构体根据地址族执行,AF_INET:man 7 ip
struct sockaddr_in sin;
sin.sin_family = AF_INET;
sin.sin_port = htons(PORT);
sin.sin_addr.s_addr = inet_addr(IP);
//绑定---非必须绑定
//默认绑定本机IP和49152-65535随机选择未使用的端口
//连接服务器
if(connect(cfd,(struct sockaddr*)&sin, sizeof(sin))< 0)
{
ERR_MSG("connect");
return -1;
}
printf("连接服务器成功\n");
//创建集合
struct pollfd fds[2];
fds[0].fd = 0; //将0号文件描述符添加到集合
fds[0].events = POLLIN; //读事件
fds[1].fd = cfd; //将cfd添加到集合中
fds[1].events = POLLIN; //读事件
char buf[128]="";
ssize_t res = -1;
int p_res = 0;
while(1)
{
p_res = poll(fds,2,-1);
if(p_res < 0)
{
ERR_MSG("poll");
return -1;
}
else if(0 == p_res)
{
printf("time out----\n");
break;
}
printf("__%d__",__LINE__);
//能运行到当前位置,则代表文件描述符产生事件
//判断所有文件描述符实际产生的事件(evevts)中是否有POLLIN
//有可能同时产生多个事件,其中包含了POLLIN
//所以需要通过按位与的方式提取出revents中是否含有POLLIN
if(fds[0].revents & POLLIN)
{
bzero(buf,sizeof(buf));
//发送
fgets(buf,sizeof(buf),stdin);
buf[strlen(buf)-1] = '\0';
if(send(cfd,buf,sizeof(buf),0)< 0)
{
ERR_MSG("send");
return -1;
}
printf("发送成功\n");
}
if(fds[1].revents & POLLIN)
{
//接收
bzero(buf,sizeof(buf));
res = recv(cfd,buf,sizeof(buf),0);
if(res < 0)
{
ERR_MSG("recv");
return -1;
}
else if(0 == res)
{
fprintf(stderr,"服务器下线\n");
break;
}
printf(":%s\n",buf);
}
}
//关闭套接字文件描述符
close(cfd);
return 0;
}
总之,无论是select函数还是poll函数,都是一种优秀的IO多路复用技术,可以避免大量的线程和进程创建,提高了网络编程效率和可扩展性,可以广泛应用于各类网络编程场景中。