socket、select、poll、epoll实现TCP并发处理

已于 2022-03-09 20:56:44 修改
阅读量2k 收藏 8
点赞数
分类专栏： 技术 日志 文章标签： tcp/ip 网络 服务器
于 2021-11-15 21:56:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34954047/article/details/121284513
版权

网络通信

常用网络通信接口大概四种，socket、select、poll、epoll

使用socket实现服务器的并发处理

优点： 代码框架简单
缺点： 碍于内存的限制，并发量不会大，基本上不会突破10K

void *client_routine(void *arg) { //

	int connfd = *(int *)arg;

	char buff[MAXLNE];

	while (1) {

		int n = recv(connfd, buff, MAXLNE, 0);
        if (n > 0) {
            buff[n] = '\0';
            printf("recv msg from client: %s\n", buff);

	    	send(connfd, buff, n, 0);
        } else if (n == 0) {
            close(connfd);
			break;
        }

	}

	return NULL;
}

int main(int argc, char **argv) 
{
    int listenfd, connfd, n;
    struct sockaddr_in servaddr;
    char buff[MAXLNE];
 
    if ((listenfd = socket(AF_INET, SOCK_STREAM, 0)) == -1) {
        printf("create socket error: %s(errno: %d)\n", strerror(errno), errno);
        return 0;
    }
 
    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
    servaddr.sin_port = htons(9999);
 
    if (bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr)) == -1) {
        printf("bind socket error: %s(errno: %d)\n", strerror(errno), errno);
        return 0;
    }
 
    if (listen(listenfd, 10) == -1) {
        printf("listen socket error: %s(errno: %d)\n", strerror(errno), errno);
        return 0;
    }
    
	while (1) {

		struct sockaddr_in client;
	    socklen_t len = sizeof(client);
	    if ((connfd = accept(listenfd, (struct sockaddr *)&client, &len)) == -1) {
	        printf("accept socket error: %s(errno: %d)\n", strerror(errno), errno);
	        return 0;
	    }

		pthread_t threadid;
		pthread_create(&threadid, NULL, client_routine, (void*)&connfd);

    }
    close(listenfd);
    return 0;
}

使用select实现服务器的并发处理

  1. IO多路复用选择
  2. 利用bit位来监听管理所有链接
  3. 每一次调用select， 都会将待查询的fd copy到协议栈中进行查询，然后再将查询到的信息copy到用户空间进行返回。所以性能较epoll弱。

优点

一个select可以管控指定数量的fd，多做几个select完全可以突破socket方案中难以突破的10K个并发

缺点

难以突破1000K，因为select中会将所有监听的fd拷贝到内存中判单是否存在需要读取的数据，可能其中只有几个fd可读，也就是效率较低，由于拷贝太多无效数据用以判断，所以存在优化空间

函数原型

int select (int maxfd,fd_set *readset,fd_set *writeset,fd_set *exceptset,const struct timeval * timeout);

maxfd：规定最大socketId，一般是 listen 返回ID数据+1
readset：可读集合
writeset：可写集合
exceptset：
timeout：读取等待时间，为0则阻塞
return: 可操作字的数目

需要配合使用的API

FD_ZERO
FD_SET
FD_ISSET
FD_CLR

该方法定义了一个矩阵，用以实现socket id的管理，该矩阵的大小可以修改，位于文件Posix_types.h
在这里插入图片描述

系统对输出空间的规划

在这里插入图片描述
存在一个队列，从前往后寻找可用于开辟文件描述符的位置作为文件id

int main(int argc, char **argv) 
{
    int listenfd, connfd, n;
    struct sockaddr_in servaddr;
    char buff[MAXLNE];
 
    if ((listenfd = socket(AF_INET, SOCK_STREAM, 0)) == -1) {
        printf("create socket error: %s(errno: %d)\n", strerror(errno), errno);
        return 0;
    }
 
    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
    servaddr.sin_port = htons(9999);
 
    if (bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr)) == -1) {
        printf("bind socket error: %s(errno: %d)\n", strerror(errno), errno);
        return 0;
    }
 
    if (listen(listenfd, 10) == -1) {
        printf("listen socket error: %s(errno: %d)\n", strerror(errno), errno);
        return 0;
    }

	fd_set rfds, rset, wfds, wset;

	FD_ZERO(&rfds);
	FD_SET(listenfd, &rfds);

	FD_ZERO(&wfds);

	int max_fd = listenfd;

	while (1) {

		rset = rfds;
		wset = wfds;

		int nready = select(max_fd+1, &rset, &wset, NULL, NULL);


		if (FD_ISSET(listenfd, &rset)) { //

			struct sockaddr_in client;
		    socklen_t len = sizeof(client);
		    if ((connfd = accept(listenfd, (struct sockaddr *)&client, &len)) == -1) {
		        printf("accept socket error: %s(errno: %d)\n", strerror(errno), errno);
		        return 0;
		    }

			FD_SET(connfd, &rfds);

			if (connfd > max_fd) max_fd = connfd;

			if (--nready == 0) continue;

		}

		int i = 0;
		for (i = listenfd+1;i <= max_fd;i ++) {

			if (FD_ISSET(i, &rset)) { // 

				n = recv(i, buff, MAXLNE, 0);
		        if (n > 0) {
		            buff[n] = '\0';
		            printf("recv msg from client: %s\n", buff);

					FD_SET(i, &wfds);

					//reactor
					//send(i, buff, n, 0);
		        } else if (n == 0) { //

					FD_CLR(i, &rfds);
					//printf("disconnect\n");
		            close(i);
					
		        }
				if (--nready == 0) break;
			} else if (FD_ISSET(i, &wset)) {

				send(i, buff, n, 0);
				FD_SET(i, &rfds);
			
			}

		}
		

	}
 
    close(listenfd);
    return 0;
}

使用poll实现服务器的并发处理

  1. 使用poll与使用select没有多少区别， 只是poll不再限制最大连接数，因为它采用了链表的方式存储信息
  2. 每一次调用poll， 都会将待查询的fd copy到协议栈中进行查询，然后再将查询到的信息copy到用户空间进行返回。所以性能较epoll弱。
int main(int argc, char **argv) 
{
    int listenfd, connfd, n;
    struct sockaddr_in servaddr;
    char buff[MAXLNE];
 
    if ((listenfd = socket(AF_INET, SOCK_STREAM, 0)) == -1) {
        printf("create socket error: %s(errno: %d)\n", strerror(errno), errno);
        return 0;
    }
 
    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
    servaddr.sin_port = htons(9999);
 
    if (bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr)) == -1) {
        printf("bind socket error: %s(errno: %d)\n", strerror(errno), errno);
        return 0;
    }
 
    if (listen(listenfd, 10) == -1) {
        printf("listen socket error: %s(errno: %d)\n", strerror(errno), errno);
        return 0;
    }

	struct pollfd fds[POLL_SIZE] = {0};
	fds[listenfd].fd = listenfd;
	fds[listenfd].events = POLLIN;

	int max_fd = listenfd;
	int i = 0;
	for (i = 1;i < POLL_SIZE;i ++) {
		fds[i].fd = -1;
	}

	while (1) {

		int nready = poll(fds, max_fd+1, -1);

	
		if (fds[listenfd].revents & POLLIN) {

			struct sockaddr_in client;
		    socklen_t len = sizeof(client);
		    if ((connfd = accept(listenfd, (struct sockaddr *)&client, &len)) == -1) {
		        printf("accept socket error: %s(errno: %d)\n", strerror(errno), errno);
		        return 0;
		    }

			printf("accept \n");
			fds[connfd].fd = connfd;
			fds[connfd].events = POLLIN;

			if (connfd > max_fd) max_fd = connfd;

			if (--nready == 0) continue;
		}

		//int i = 0;
		for (i = listenfd+1;i <= max_fd;i ++)  {

			if (fds[i].revents & POLLIN) {
				
				n = recv(i, buff, MAXLNE, 0);
		        if (n > 0) {
		            buff[n] = '\0';
		            printf("recv msg from client: %s\n", buff);
					fds[i].revents = POLLOUT;
					//send(i, buff, n, 0);
		        } else if (n == 0) { //

					fds[i].fd = -1;

		            close(i);
					
		        }
				if (--nready == 0) break;

			} else if (fds[i].revents & POLLOUT)
			{
				send(i, buff, n, 0);
				fds[i].revents = POLLIN;
			}
		}

	}

 
    close(listenfd);
    return 0;
}

使用epoll实现服务器的并发处理

  1. 吹个牛批先：在epoll出现之前，linux仅能够用作嵌入式，因为它的并发量不够高，epoll的出现，打破了这一限制，完成了linux从嵌入式往服务器跨越的进步
    其原理依然是对socket的fd进行管理，将本业务中的所有socket引出的fd通过epoll_ctl加入一个epoll中进行管理，通过epoll_wait来轮询epoll中的fd是否出现事件，然后将之读出来处理。
  2. 值得一提的是，epoll可以并非IO操作，其中epoll_wait监测的接口并非IO操作
  3. epoll与poll不同，它只是将需要关注的fd加入协议栈进行监测，所以性能更优。
int epoll_create(int size);

创建epoll句柄， size不重要，只要大于0就行。留下该入参，为了兼容老版本linux接口

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)

epfd：epoll_create返回的epoll句柄
op：操作类型
4. EPOLL_CTL_ADD
5. EPOLL_CTL_MOD
6. EPOLL_CTL_DEL
fd：需要监听的流
event： 需要监听的事件

int epoll_wait(int epfd,struct epoll_event * events,int maxevents,int timeout)

epfd：epoll_create返回的epoll句柄
events： 单次epoll_wait取到的链接情况
maxevents： 单次epoll_wait最多可取的连接数
timeout：超时时间

int main(int argc, char **argv) 
{
    int listenfd, connfd, n;
    struct sockaddr_in servaddr;
    char buff[MAXLNE];
 
    if ((listenfd = socket(AF_INET, SOCK_STREAM, 0)) == -1) {
        printf("create socket error: %s(errno: %d)\n", strerror(errno), errno);
        return 0;
    }
 
    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
    servaddr.sin_port = htons(9999);
 
    if (bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr)) == -1) {
        printf("bind socket error: %s(errno: %d)\n", strerror(errno), errno);
        return 0;
    }
 
    if (listen(listenfd, 10) == -1) {
        printf("listen socket error: %s(errno: %d)\n", strerror(errno), errno);
        return 0;
    }

	int epfd = epoll_create(1); //int size

	struct epoll_event events[POLL_SIZE] = {0};
	struct epoll_event ev;

	ev.events = EPOLLIN;
	ev.data.fd = listenfd;

	epoll_ctl(epfd, EPOLL_CTL_ADD, listenfd, &ev);

	while (1) {

		int nready = epoll_wait(epfd, events, POLL_SIZE, 5);
		if (nready == -1) {
			continue;
		}

		int i = 0;
		for (i = 0;i < nready;i ++) {

			int clientfd =  events[i].data.fd;
			if (clientfd == listenfd) {

				struct sockaddr_in client;
			    socklen_t len = sizeof(client);
			    if ((connfd = accept(listenfd, (struct sockaddr *)&client, &len)) == -1) {
			        printf("accept socket error: %s(errno: %d)\n", strerror(errno), errno);
			        return 0;
			    }

				printf("accept\n");
				ev.events = EPOLLIN;
				ev.data.fd = connfd;
				epoll_ctl(epfd, EPOLL_CTL_ADD, connfd, &ev);

			} else if (events[i].events & EPOLLIN) {

				printf("recv\n");
				n = recv(clientfd, buff, MAXLNE, 0);
		        if (n > 0) {
		            buff[n] = '\0';
		            printf("recv msg from client: %s\n", buff);

					send(clientfd, buff, n, 0);
		        } else if (n == 0) { //


					ev.events = EPOLLIN;
					ev.data.fd = clientfd;

					epoll_ctl(epfd, EPOLL_CTL_DEL, clientfd, &ev);

		            close(clientfd);
					
		        }

			}

		}

	}
 
    close(listenfd);
    return 0;
}
域中四大
关注
专栏目录
socket网络通信模型之select与epoll
dvlinker的技术专栏
03-24 1万+
socket网络通信模型之select和epoll的介绍及对比分析，并结合具体问题进行阐述。
使用epoll()进行socket编程处理多客户连接的TCP服务器实例
最新发布
whowin
03-12 341
在网络编程中，当需要使用单线程处理多客户端的连接时，常使用select()或者poll()来处理，但是当并发数量非常大时，select()和poll()的性能并不好，epoll()的性能大大好于select()和poll()，在编写大并发的服务器软件时，epoll()应该是首选的方案，本文介绍epoll()在网络编程中的使用方法，本文提供了一个具体的实例，并附有完整的源代码。
linux socket tcp大并发 epoll使用教程 有关epoll的一切
01-19
linux socket tcp大并发 epoll使用教程 有关epoll的一切
【Linux网络编程】select函数实现TCP并发服务器
imysy_22_的博客
10-13 1446
使用select函数来完成并发服务器
笔试题之使用select实现TCP小型并发服务器
qq_41878292的博客
10-20 845
没有就绪的文件描述符。
C 实现TCP服务端（select、poll、epoll）
成长历程记录
12-23 2376
使用C简单的实现一个tcpserver，包括常规server、多线程实现server、select实现server、poll实现server、epoll实现server。 常规模式 #define MAXLEN 4096 int main(int argc, char **argv) { int listenfd, connfd, n; struct sockaddr_in servaddr; char buff[MAXLEN]; if ((listenfd ...
Linux/C epoll实现tcp并发服务器
weixin_40582626的博客
10-19 1221
epoll是poll的改进,同时I/O多路复用,相较select: select: 当网卡收到数据之后,将数据写入缓冲区,并发送中断给cpu.cpu接收中断并将数据从内核态复制到socket的缓冲区.唤醒socket进程,同时从socket的等待队列中移除这个进程引用. 1.select,需要遍历socket列表,频繁的对等待队列进行添加移除操作, 2.数据到达后还需要给变量所有socket才能获知哪些socket有数据 用户处理select返回，需要遍历bitmap，才能知道哪一个IO被置位，这
TCP高并发服务器简介（select、poll、epoll实现与区别）
qq_41878292的博客
01-18 1632
没有就绪的文件描述符去除read_fdsread_fds_t。
socket编程以及select、epoll、poll示例详解
热门推荐
Hyacinth_Dy
06-11 2万+
socket编程socket这个词可以表示很多概念，在TCP/IP协议中“IP地址 + TCP或UDP端口号”唯一标识网络通讯中的一个进程，“IP + 端口号”就称为socket。在TCP协议中，建立连接的两个进程各自有一个socket来标识，那么两个socket组成的socket pair就唯一标识一个连接。
socket-epoll:使用epoll完成tcp编程
03-06
本主题将深入探讨如何使用C语言和`epoll`机制来实现TCP编程，以实现高性能的服务器架构。 首先，TCP（传输控制协议）是一种面向连接、可靠的传输协议，它确保了数据的有序性和无丢失性。在服务器端，当面对成千上万...
TCPSocketSelect模型框架
12-14
一个稳定基于Socket多链接select模型框架，可在此基础上开发。接受数据包，被抛出到外层的回调函数处理，发送数据只需调用SendData接口，TCP存活时间，select机制都在TcpSocket类中实现。
EPOLL多线程TCP服务器
08-27
EPOLL多线程TCP服务器，可以动态获取连接客户机并且向客户机发送数据
socket网络编程select函数处理多个IO并发
liufeng_06的博客
03-21 992
select函数处理socket多IO并发 此文接上篇文章 https://blog.csdn.net/liufeng_06/article/details/105007836 简介 网络编程的服务端程序在大多数的情况下，并不只是与一个客户端进行通讯。在嵌入式行业中，设备通常被被要求至少同时需要与5-10个客户端同时通信，而对于嵌入式设备来说，其内部资源是非常有限的，我们不可能使用多进程来实现该...
js监听select值变化_网络编程——C++实现socket通信(TCP)高并发之select模式
weixin_39922868的博客
11-26 484
相关函数：服务端：socket()bind()listen()FD_ZERO()等辅助函数select() 高并发select模式accept()read() 或 recv()等write() 或 send()等close()客户端：socket()connect()write() 或 send()等read() 或 recv()等close()着重说明下select函数及辅助函数用法说明。调用s...
2022-8-16 IO多路复用-使用select实现tcp客户端
m0_58344947的博客
08-16 990
IO多路复用1.允许同时多个IO进行操作，内核一旦发现进程执行一个或多个IO事件，就会通知该进程。2.应用程序中同时处理多路输入输出流。
epoll tcp server 演示收发消息
wangzhicheng2013的专栏
10-31 376
#include <stdlib.h> #include <unistd.h> #include <stdlib.h> #include <string.h> #include <fcntl.h> #include <sys/epoll.h> #include <sys/socket.h> #include &l...
epoll监控 AF_INET 的tcp socket
chenpuo的博客
11-27 379
转载自http://www.cnblogs.com/Anker/archive/2013/08/17/3263780.html   1、基本知识 　　epoll是在2.6内核中提出的，是之前的select和poll的增强版本。相对于select和poll来说，epoll更加灵活，没有描述符限制。epoll使用一个文件描述符管理多个描述符，将用户关系的文件描述符的事件存放到内核的一个事件表中，...
网络编程——C++实现socket通信(TCP)高并发之epoll模式
buknow的博客
06-29 6131
相关链接：TCP连接与释放、网络编程——C++实现socket通信(TCP) 相关函数： 服务端： socket() bind() listen() epoll_create() 高并发poll模式 epoll_ctl() epoll_wait() accept() read() 或 recv()等 write() 或 send()等 close() 客户端： socket() connect() write() 或 send()等 read() 或 recv()等 close() 着重说明下epol
客户端服务器信息交互,select实现客户端和服务器端的信息交互（TCP socket）
weixin_30569443的博客
07-31 644
实现功能：客户端：<1>从标准输入(键盘)读入信息，然后通过socket发送到服务器端;<2>接收来自服务器端的信息，并显示到终端里。服务器端：<1>从标准输入(键盘)读入信息，然后通过socket发送到客户端;<2>接收来自客户端的信息，并显示到终端里。分析：<1>首先需要建立服务器端与客户端之间通信的socket(本文采用TCP协议的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值