UNIX网络编程——select函数的并发限制和 poll 函数应用举例

最新推荐文章于 2021-11-22 12:14:40 发布
最新推荐文章于 2021-11-22 12:14:40 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： UNP(API)

一、用select实现的并发服务器，能达到的并发数，受两方面限制


       1、一个进程能打开的最大文件描述符限制。这可以通过调整内核参数。可以通过ulimit -n来调整或者使用setrlimit函数设置， 但一个系统所能打开的最大数也是有限的，跟内存大小有关，可以通过cat /proc/sys/fs/file-max 查看

       2、select中的fd_set集合容量的限制（FD_SETSIZE，一般为1024） ，这需要重新编译内核。


可以写个测试程序，只建立连接，看看最多能够建立多少个连接，客户端程序如下：

#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <signal.h>
#include <stdlib.h>
#include <stdio.h>
#include <errno.h>
#include <string.h>

#define ERR_EXIT(m) \
        do \
        { \
                perror(m); \
                exit(EXIT_FAILURE); \
        } while(0)


int main(void)
{
    int count = 0;
    while(1)
    {
        int sock;
        if ((sock = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP)) < 0)
        {
            sleep(4);
            ERR_EXIT("socket");
        }

        struct sockaddr_in servaddr;
        memset(&servaddr, 0, sizeof(servaddr));
        servaddr.sin_family = AF_INET;
        servaddr.sin_port = htons(5188);
        servaddr.sin_addr.s_addr = inet_addr("127.0.0.1");

        if (connect(sock, (struct sockaddr *)&servaddr, sizeof(servaddr)) < 0)
            ERR_EXIT("connect");

        struct sockaddr_in localaddr;
        socklen_t addrlen = sizeof(localaddr);
        if (getsockname(sock, (struct sockaddr *)&localaddr, &addrlen) < 0)
            ERR_EXIT("getsockname");

        printf("ip=%s port=%d\n", inet_ntoa(localaddr.sin_addr), ntohs(localaddr.sin_port));
        printf("count = %d\n", ++count);

    }

    return 0;
}

服务器的代码serv.c：来自<<UNIX网络编程——使用select函数编写客户端和服务器>>最后的服务器程序。

#include<stdio.h>
#include<sys/types.h>
#include<sys/socket.h>
#include<unistd.h>
#include<stdlib.h>
#include<errno.h>
#include<arpa/inet.h>
#include<netinet/in.h>
#include<string.h>
#include<signal.h>
#include<sys/wait.h>



#define ERR_EXIT(m) \
    do { \
        perror(m); \
        exit(EXIT_FAILURE); \
    } while (0)


int main(void)
{
    
    signal(SIGPIPE, SIG_IGN);
    int listenfd; //被动套接字(文件描述符），即只可以accept, 监听套接字
    if ((listenfd = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP)) < 0)
//  listenfd = socket(AF_INET, SOCK_STREAM, 0)  
        ERR_EXIT("socket error");

    struct sockaddr_in servaddr;
    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(5188);
    servaddr.sin_addr.s_addr = htonl(INADDR_ANY); 
    /* servaddr.sin_addr.s_addr = inet_addr("127.0.0.1"); */
    /* inet_aton("127.0.0.1", &servaddr.sin_addr); */
    
    int on = 1;
    if (setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
        ERR_EXIT("setsockopt error");

    if (bind(listenfd, (struct sockaddr*)&servaddr,sizeof(servaddr)) < 0)
        ERR_EXIT("bind error");

    if (listen(listenfd, SOMAXCONN) < 0) //listen应在socket和bind之后，而在accept之前
        ERR_EXIT("listen error");
    
    struct sockaddr_in peeraddr; //传出参数
    socklen_t peerlen = sizeof(peeraddr); //传入传出参数，必须有初始值
    
    int conn; // 已连接套接字(变为主动套接字，即可以主动connect)
    int i;
    int client[FD_SETSIZE];
    int maxi = 0; // client数组中最大不空闲位置的下标
    for (i = 0; i < FD_SETSIZE; i++)
        client[i] = -1;

    int nready;
    int maxfd = listenfd;
    fd_set rset;
    fd_set allset;
    FD_ZERO(&rset);
    FD_ZERO(&allset);
    FD_SET(listenfd, &allset);

	int count = 0;
    while (1) {
        rset = allset;
        nready = select(maxfd + 1, &rset, NULL, NULL, NULL);
        if (nready == -1) {
            if (errno == EINTR)
                continue;
            ERR_EXIT("select error");
        }

        if (nready == 0)
            continue;

        if (FD_ISSET(listenfd, &rset)) {
        
            conn = accept(listenfd, (struct sockaddr*)&peeraddr, &peerlen);  //accept不再阻塞
            if (conn == -1)
                ERR_EXIT("accept error");
            printf("count = %d\n", ++count);
            for (i = 0; i < FD_SETSIZE; i++) {
                if (client[i] < 0) {
                    client[i] = conn;
                    if (i > maxi)
                        maxi = i;
                    break;
                } 
            }
            
            if (i == FD_SETSIZE) {
                fprintf(stderr, "too many clients\n");
                exit(EXIT_FAILURE);
            }

            printf("recv connect ip=%s port=%d\n", inet_ntoa(peeraddr.sin_addr),
                ntohs(peeraddr.sin_port));

            FD_SET(conn, &allset);
            if (conn > maxfd)
                maxfd = conn;

            if (--nready <= 0)
                continue;
        }

        for (i = 0; i <= maxi; i++) {
            conn = client[i];
            if (conn == -1)
                continue;

            if (FD_ISSET(conn, &rset)) {
                
                char recvbuf[1024] = {0};
                int ret = read(conn, recvbuf, 1024);
                if (ret == -1)
                    ERR_EXIT("read error");
                else if (ret  == 0) { //客户端关闭 
                    printf("client close \n");
                    FD_CLR(conn, &allset);
                    client[i] = -1;
                    close(conn);
                }
        
                fputs(recvbuf, stdout);
                write(conn, recvbuf, strlen(recvbuf));
                
                if (--nready <= 0)
                    break; 
            }
        }


    }
        
    return 0;
}

/* select所能承受的最大并发数受
 * 1.一个进程所能打开的最大文件描述符数，可以通过ulimit -n来调整
 *   但一个系统所能打开的最大数也是有限的，跟内存有关，可以通过cat /proc/sys/fs/file-max 查看
 * 2.FD_SETSIZE(fd_set)的限制，这个需要重新编译内核                                                                          
 */

       先启动select 的服务器端程序，再启动客户端测试程序：

huangcheng@ubuntu:~$ ./serv
count = 1
recv connect ip=127.0.0.1 port=48370
count = 2
recv connect ip=127.0.0.1 port=48371
count = 3
recv connect ip=127.0.0.1 port=48372
count = 4
recv connect ip=127.0.0.1 port=48373
....................................
recv connect ip=127.0.0.1 port=49389
count = 1020
recv connect ip=127.0.0.1 port=49390
accept error: Too many open files
huangcheng@ubuntu:~$ ./cli
ip=127.0.0.1 port=46327
count = 1
ip=127.0.0.1 port=46328
count = 2
ip=127.0.0.1 port=46329
count = 3
ip=127.0.0.1 port=46330
count = 4
ip=127.0.0.1 port=46331
count = 5
ip=127.0.0.1 port=46332
count = 6
ip=127.0.0.1 port=46333
.......................
ip=127.0.0.1 port=47345
count = 1020
ip=127.0.0.1 port=47346
count = 1021
socket: Too many open files

       输出太多条目，上面只截取最后几条，从中可以看出对于客户端，最多只能开启1021个连接套接字，因为总共是1024个，还得除去0、1、2。而服务器端只能accept 返回1020个已连接套接字，因为除了0、1、2之外还有一个监听套接字，客户端某一个套接字（不一定是最后一个）虽然已经建立了连接，在已完成连接队列中，但accept 返回时达到最大描述符限制，返回错误，打印提示信息。


       也许有人会注意到上面有一行 sleep(4)；当客户端调用socket准备创建第1022个套接字时，如上所示也会提示错误，此时socket函数返回-1出错，如果没有睡眠4s后再退出进程会有什么问题呢？如果直接退出进程，会将客户端所打开的所有套接字关闭掉，即向服务器端发送了很多FIN段，而此时也许服务器端还一直在accept ，即还在从已连接队列中返回已连接套接字，此时服务器端除了关心监听套接字的可读事件，也开始关心前面已建立连接的套接字的可读事件，read 返回0，所以会有很多 client close 字段 参杂在条目的输出中，还有个问题就是，因为read 返回0，服务器端会将自身的已连接套接字关闭掉，那么也许刚才说的客户端某一个连接会被accept 返回，即测试不出服务器端真正的并发容量。

huangcheng@ubuntu:~$ ./serv
count = 1
recv connect ip=127.0.0.1 port=50413
count = 2
....................................
client close
client close
client close
client close
...................................
recv connect ip=127.0.0.1 port=51433
client close
count = 1021
recv connect ip=127.0.0.1 port=51364
client close
client close
      可以看到输出参杂着client close，且这次的count 达到了1021，原因就是服务器端前面已经有些套接字关闭了，所以accept 创建套接字不会出错，服务器进程也不会因为出错而退出，可以看到最后接收到的一个连接端口是51364，即不一定是客户端的最后一个连接。


二、poll 函数应用举例

#include <poll.h>
int poll(struct pollfd *fds, nfds_t nfds, int timeout);
参数1：结构体数组指针 

struct pollfd {
    int   fd;         /* file descriptor */
    short events;     /* requested events */
    short revents;    /* returned events */
};

结构体中的fd 即套接字描述符，events 即感兴趣的事件，如下图所示，revents 即返回的事件。


参数2：结构体数组的成员个数，即文件描述符个数。

参数3：即超时时间，若为-1，表示永不超时。


       poll 跟 select 还是很相似的，比较重要的区别在于poll 所能并发的个数跟FD_SETSIZE无关，只跟一个进程所能打开的文件描述符个数有关，可以在select 程序的基础上修改成poll 程序，在运行服务器端程序之前，使用ulimit -n 2048 将限制改成2048个，注意在运行客户端进程的终端也需更改，因为客户端也会有所限制，这只是临时性的更改，因为子进程会继承这个环境参数，而我们是在bash命令行启动程序的，故在进程运行期间，文件描述符的限制为2048个。

使用poll 函数的服务器端程序如下：

#include<stdio.h>
#include<sys/types.h>
#include<sys/socket.h>
#include<unistd.h>
#include<stdlib.h>
#include<errno.h>
#include<arpa/inet.h>
#include<netinet/in.h>
#include<string.h>
#include<signal.h>
#include<sys/wait.h>
#include<poll.h>

#define ERR_EXIT(m) \
    do { \
        perror(m); \
        exit(EXIT_FAILURE); \
    } while (0)


int main(void)
{
    int count = 0;
    signal(SIGPIPE, SIG_IGN);
    int listenfd; //被动套接字(文件描述符），即只可以accept, 监听套接字
    if ((listenfd = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP)) < 0)
        //  listenfd = socket(AF_INET, SOCK_STREAM, 0)
        ERR_EXIT("socket error");

    struct sockaddr_in servaddr;
    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(5188);
    servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
    /* servaddr.sin_addr.s_addr = inet_addr("127.0.0.1"); */
    /* inet_aton("127.0.0.1", &servaddr.sin_addr); */

    int on = 1;
    if (setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
        ERR_EXIT("setsockopt error");

    if (bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr)) < 0)
        ERR_EXIT("bind error");

    if (listen(listenfd, SOMAXCONN) < 0) //listen应在socket和bind之后，而在accept之前
        ERR_EXIT("listen error");

    struct sockaddr_in peeraddr; //传出参数
    socklen_t peerlen = sizeof(peeraddr); //传入传出参数，必须有初始值

    int conn; // 已连接套接字(变为主动套接字，即可以主动connect)
    int i;

    struct pollfd client[2048];
    int maxi = 0; //client[i]最大不空闲位置的下标

    for (i = 0; i < 2048; i++)
        client[i].fd = -1;

    int nready;
    client[0].fd = listenfd;
    client[0].events = POLLIN;

    while (1)
    {
        /* poll检测[0, maxi + 1) */
        nready = poll(client, maxi + 1, -1);
        if (nready == -1)
        {
            if (errno == EINTR)
                continue;
            ERR_EXIT("poll error");
        }

        if (nready == 0)
            continue;

        if (client[0].revents & POLLIN)
        {

            conn = accept(listenfd, (struct sockaddr *)&peeraddr, &peerlen); //accept不再阻塞
            if (conn == -1)
                ERR_EXIT("accept error");

            for (i = 1; i < 2048; i++)
            {
                if (client[i].fd < 0)
                {
                    client[i].fd = conn;
                    if (i > maxi)
                        maxi = i;
                    break;
                }
            }

            if (i == 2048)
            {
                fprintf(stderr, "too many clients\n");
                exit(EXIT_FAILURE);
            }

            printf("count = %d\n", ++count);
            printf("recv connect ip=%s port=%d\n", inet_ntoa(peeraddr.sin_addr),
                   ntohs(peeraddr.sin_port));

            client[i].events = POLLIN;

            if (--nready <= 0)
                continue;
        }

        for (i = 1; i <= maxi; i++)
        {
            conn = client[i].fd;
            if (conn == -1)
                continue;
            if (client[i].revents & POLLIN)
            {

                char recvbuf[1024] = {0};
                int ret = read(conn, recvbuf, 1024);
                if (ret == -1)
                    ERR_EXIT("readline error");
                else if (ret  == 0)   //客户端关闭
                {
                    printf("client  close \n");
                    client[i].fd = -1;
                    close(conn);
                }

                fputs(recvbuf, stdout);
                write(conn, recvbuf, strlen(recvbuf));

                if (--nready <= 0)
                    break;
            }
        }


    }

    return 0;
}

/* poll 只受一个进程所能打开的最大文件描述符限制，这个可以使用ulimit -n调整 */
参照前面对 select 函数 的解释不难理解上面的程序，就不再赘述了。来看一下输出： 


root@ubuntu:/home/huangcheng# ulimit -n 2048
root@ubuntu:/home/huangcheng# su - huangcheng
huangcheng@ubuntu:~$ ulimit -n
2048
huangcheng@ubuntu:~$ ./serv
...........................
count = 2042
recv connect ip=127.0.0.1 port=54499
count = 2043
recv connect ip=127.0.0.1 port=54500
count = 2044
recv connect ip=127.0.0.1 port=54501
accept error: Too many open files
root@ubuntu:/home/huangcheng# ulimit -n 2048
root@ubuntu:/home/huangcheng# su - huangcheng
huangcheng@ubuntu:~$ ulimit -n
2048
huangcheng@ubuntu:~$./cli
..........................
ip=127.0.0.1 port=54499
count = 2043
ip=127.0.0.1 port=54500
count = 2044
ip=127.0.0.1 port=54501
count = 2045
socket: Too many open files
       可以看到现在最大的连接数已经是2045个了，虽然服务器端有某个连接没有accept 返回。即poll 比 select 能够承受更多的并发连接，只受一个进程所能打开的最大文件描述符个数限制。可以通过ulimit -n  修改，但一个系统所能打开的文件描述符个数也是有限的，这跟系统的内存大小有关系，所以说也不是可以无限地并 发，可以查看一下本机的容量： 

huangcheng@ubuntu:~$ cat /proc/sys/fs/file-max
101598
本机是虚拟机，内存2G，能够打开的文件描述符个数大约在10w个左右。

ctthuangcheng
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Unix网络编程 第6章 I/O服用： select和poll函数 第6章.tar.gz 对本章的代码简易的练习
01-09
I/O复用：select和poll函数 对本章的代码练习
第六章 select和poll函数
sunximei的博客
11-19 2404
一、I/O复用 前面提到，当客户阻塞于fgets时，服务器进程若被杀死，虽然会给客户端发送FIN，但客户端看不到这个EOF，直到从套接字读。这样的进程需要一种预先告知内核的能力，使内核一旦发现进程指定的一个或多个I/O条件就绪，就通知进程。这个能力称为I/O复用（multiplexing）。 I/O复用通常用于服务器设计： （1）处理多个连接，或者同时处理监听套接字和连接套接字 （2）同时处理TCP协议和UDP协议 （3）同时处理多个服务 二、I/O模型 2.1 阻塞I/O模型 默认情况下，所有套接字都是阻
IO模型、IO多路复用、select poll epoll
zelinhehe的专栏
08-17 1445
基础知识 同步、异步 进程的阻塞 理解 IO操作 Unix下可用的5种I/O模型 同步阻塞 IO 同步非阻塞 IO IO 多路复用 异步 IO 5中IO模型的比较 IO多路复用的理解 select poll epoll的区别 基础知识 高性能架构设计主要有两方面： 1.提高单服务器...
套接字编程之select与poll详解及对比
weixin_43439761的博客
11-22 1218
套接字编程之select与poll详解及对比 本文主要参考自《UNIX网络编程》(第1卷)(套接口API第3版) 1. select函数 select函数允许进程指示内核等待多个事件（读、写或异常）中任何一个发生，并且只在有一个或多个发生或者经过一段时间后才唤醒它。 函数原型如下： #include <sys/select.h> #include <sys/time.h> int select(int maxfdpl，fd_set *readset，fd_set *writese
linux网络编程中Select和poll服务程序
01-16
linux操作系统下通过Select和Poll两种模型实现的高并发的通信服务程序示例
Linux网络编程，包括tcp/upd，select/poll/epoll/pdf
04-14
总之，Linux网络编程是一项重要的技能，它涉及到网络通信的基本原理以及多路复用技术的使用，对于开发网络应用程序来说是必不可少的技能。Linux网络编程是指在Linux操作系统上开发网络应用程序的过程。它主要涉及到...
网络io使用实例 select，poll，epoll
03-08
网络io的使用实例 1.阻塞 2.多线程 3.select 4.poll， 5.epoll
Linux中使用poll函数的用法
01-20
poll函数用法可以man一下。这里提供一个可以运行的示例。 　程序流程： 　父进程启动并创建子进程 　子进程通过管道发送数据给父进程 　父进程同时监听管道数据和shell输入，阻塞500毫秒发现没有数据打印一个...
select多个客户端连接
06-25
主要对select针对多个客户端连接
Linux下的socket编程实践（八） Select的限制和poll（并发的初步知识）
NK_test的博客
10-20 5054
select的限制 用select实现的并发服务器，能达到的并发数一般受两方面限制: 1)一个进程能打开的最大文件描述符限制。这可以通过调整内核参数来改变。可以通过ulimit -n(number)来调整或者使用setrlimit函数设置（需要root权限），但一个系统所能打开的最大数也是有限的，跟内存大小有关，可以通过cat /proc/sys/fs/file-max 查看。
UNIX网络编程——使用select函数编写客户端和服务器
weixin_34210740的博客
07-24 298
首先看原先《UNIX网络编程——并发服务器（TCP）》的代码，服务器代码serv.c：#include<stdio.h> #include<sys/types.h> #include<sys/socket.h> #include<unistd.h> #include<stdlib.h> #include<errno.h...
实现TCP并发服务器之三（select函数）
时间是把杀刀猪
07-04 3939
前面两篇介绍用进程方式和线程方式实现并发服务，其实里面调用send，read，accept函数都会导致阻塞，而linux的select函数可以使我们在程序中同时监听多个文件描述符的读写状态。程序会停在select这里等待，直到被监视的文件描述符有某一个或多个发生了状态改变。select()的机制中提供一fd_set的数据结构，实际上是一long类型的数组， 每一个数组元素都能与一打开的文件描述符（
Linux下高并发socket最大连接数所受的各种限制
热门推荐
郭耀今 -- 蓝天白云
07-19 15万+
1、修改用户进程可打开文件数限制在Linux平台上，无论编写客户端程序还是服务端程序，在进行高并发TCP连接处理时，最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个TCP连接都要创建一个socket句柄，每个socket句柄同时也是一个文件句柄
Socket编程实践(10) --select的限制与poll的使用
weixin_30780649的博客
03-14 177
select的限制用select实现的并发服务器，能达到的并发数一般受两方面限制:1)一个进程能打开的最大文件描述符限制。这可以通过调整内核参数。可以通过ulimit-n(number)来调整或者使用setrlimit函数设置，但一个系统所能打开的最大数也是有限的，跟内存大小有关，可以通过cat/proc/sys/fs/file-max查看/**示例: getrlimit/setrlim...
(转)linux select poll
weixin_33826609的博客
03-30 115
以前写服务器程序直接就都写成多线程的了，没考虑过其他方式，也没考虑到底哪种方式好； 前些日子看些人说windows下面用完成端口、Linux下面用epoll,这些效率高。 其它环境一说就是select；似乎很多人不愿意提多线程方式，也许被传说中的线程同步吓得吧； 我个人还是偏向多线程方式，这样不但可以监视多端口，还可以分离业务逻辑，便于调试维护。 ---------------------...
关于实现高并发服务端的一些想法
05-29 213
 关于实现高并发服务端的一些想法   http://www.cppblog.com/zwp/archive/2009/02/21/74544.aspx
请说明Unix网络编程中select,poll和epoll的区别，并用C语言实现一个使用select，poll和epoll进行通信的demo
最新发布
05-27
在Unix网络编程中，select、poll和epoll都是用于多路复用的I/O模型，可以同时监视多个文件描述符的可读、可写和异常事件。它们之间的主要区别如下： 1. select的文件描述符集合是使用数组来表示，而poll使用链表，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值