IO多路复用

已于 2024-09-11 21:54:30 修改
阅读量175 收藏 3
点赞数 1
文章标签： 数据库 服务器 网络 网络协议
于 2024-09-11 21:54:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_78622258/article/details/142150890
版权

目录

前言

 一、select

二、poll 

poll 和 select 的区别

三、epoll 

epoll 的优点

前言

        I/O多路复用（I/O Multiplexing）是一种在操作系统中处理多个I/O操作的技术，主要用于网络编程中处理多个网络连接或文件描述符的读写操作。I/O多路复用允许单个线程或进程同时监控多个I/O事件（如读、写、异常等），从而有效地管理多个并发的I/O操作，而不需要为每个I/O操作分配一个独立的线程或进程。

      在Linux和类Unix系统中，I/O多路复用主要通过以下几种机制实现：

  1. select：最早的I/O多路复用接口。
  2. poll：改进版的select，可以处理更多的文件描述符。
  3. epoll：Linux特有的高效I/O多路复用机制，适用于大规模并发连接。

 一、select

        select是最早的I/O多路复用机制之一，用于在单个线程中监控多个文件描述符（如套接字、文件等）上的I/O事件（如可读、可写、异常等）。尽管select已经被更现代的机制如poll和epoll所取代，但它依然是理解I/O多路复用基础原理的重要工具。 

        

#include <stdio.h>
#include <unistd.h>
#include <sys/stat.h>
#include <stdlib.h>
#include <netinet/in.h>
#include <netinet/ip.h>
#include <arpa/inet.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <string.h>

#define SERVERADDR "192.168.125.86"
#define PORT 8888

int main(int argc, const char *argv[]) {
    // 创建套接字
    int listenfd = socket(AF_INET, SOCK_STREAM, 0);
    if (listenfd < 0) {
        perror("socket failed");
        return -1;
    }

    // 绑定套接字
    struct sockaddr_in serveraddr;
    serveraddr.sin_family = AF_INET;
    serveraddr.sin_port = htons(PORT);
    serveraddr.sin_addr.s_addr = inet_addr(SERVERADDR);
    if (bind(listenfd, (struct sockaddr*)&serveraddr, sizeof(serveraddr)) < 0) {
        perror("bind failed");
        return -1;
    }

    // 监听套接字
    if (listen(listenfd, 20) < 0) {
        perror("listen failed");
        return -1;
    }
	//定义文件描述符表
    fd_set master_fds, read_fds;
    int max_fd = listenfd;
	//清空文件描述符表
    FD_ZERO(&master_fds);
	//将监听套接字加入文件描述符表
    FD_SET(listenfd, &master_fds);

    while (1) {
        read_fds = master_fds;

        // 监视文件描述符集,进程通知内核监视的内核是否准备就绪(是否有IO事件)
        int activity = select(max_fd + 1, &read_fds, NULL, NULL, NULL);
        if (activity < 0) {
            perror("select failed");
            return -1;
        }

        // 处理新连接
        if (FD_ISSET(listenfd, &read_fds)) {
            struct sockaddr_in clientaddr;
            socklen_t len = sizeof(clientaddr);
            int client_fd = accept(listenfd, (struct sockaddr*)&clientaddr, &len);
            if (client_fd < 0) {
                perror("accept failed");
                continue;
            }
            printf("New connection from %s:%hu\n", inet_ntoa(clientaddr.sin_addr), ntohs(clientaddr.sin_port));
            //将新创建的客户端文件描述符加入到文件描述符表当中
			FD_SET(client_fd, &master_fds);
            if (client_fd > max_fd) {
                max_fd = client_fd;
            }
        }

        // 处理已连接客户端的数据
        for (int i = listenfd + 1; i <= max_fd; ++i) {
            if (FD_ISSET(i, &read_fds)) {
                char buf[100];
                bzero(buf, 100);
                int ret = read(i, buf, 100);
                if (ret <= 0) {
                    // 客户端关闭了连接
                    close(i);
                    FD_CLR(i, &master_fds);
                } else {
                    // 处理接收到的数据
                    printf("Received: %s\n", buf);
                    write(i, buf, ret);
                }
            }
        }
    }

    close(listenfd);
    return 0;
}

二、poll 

        

poll 和 select 的区别

  1. 文件描述符数量限制：

    • select：对文件描述符数量有限制，通常是1024（可以通过编译时调整）。
    • poll：没有文件描述符数量的限制，仅受系统可用资源限制。

  2. 接口设计：

    • select：使用fd_set结构体，通过宏操作（如FD_SET、FD_CLR等）对集合进行操作。
    • poll：使用pollfd结构体数组，结构更加直观，不需要手动设置和重置集合。

  3. 性能：

    • select：每次调用都需要遍历所有的文件描述符，性能随着文件描述符数量增加而下降。
    • poll：同样需要遍历，但由于其数据结构设计上的优势，处理大量文件描述符时性能稍好。

  4. 修改集合：

    • select：每次调用都需要重新初始化fd_set，因为select会改变fd_set的内容。
    • poll：直接修改pollfd数组即可，无需像select那样重新设置集合。

#include <stdio.h>
#include <unistd.h>
#include <sys/stat.h>
#include <stdlib.h>
#include <netinet/in.h>
#include <netinet/ip.h>
#include <arpa/inet.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <string.h>
#include <poll.h>

#define SERVERADDR "192.168.125.86"
#define PORT 8888
#define MAX_CLIENTS 1024

int main(int argc, const char *argv[]) {
    // 创建监听套接字
    int listenfd = socket(AF_INET, SOCK_STREAM, 0);
    if (listenfd < 0) {
        perror("socket failed");
        return -1;
    }

    // 绑定套接字
    struct sockaddr_in serveraddr;
    serveraddr.sin_family = AF_INET;
    serveraddr.sin_port = htons(PORT);
    serveraddr.sin_addr.s_addr = inet_addr(SERVERADDR);
    if (bind(listenfd, (struct sockaddr*)&serveraddr, sizeof(serveraddr)) < 0) {
        perror("bind failed");
        return -1;
    }

    // 监听套接字
    if (listen(listenfd, 20) < 0) {
        perror("listen failed");
        return -1;
    }

    // 初始化pollfd数组
    struct pollfd fds[MAX_CLIENTS];
    for (int i = 0; i < MAX_CLIENTS; i++) {
        fds[i].fd = -1; // 初始化为-1表示未使用
    }
    fds[0].fd = listenfd;
    fds[0].events = POLLIN;

    int nfds = 1; // 当前监控的文件描述符数量

    while (1) {
        int activity = poll(fds, nfds, -1); // 阻塞等待事件
        if (activity < 0) {
            perror("poll failed");
            return -1;
        }

        // 处理新连接
        if (fds[0].revents & POLLIN) {
            struct sockaddr_in clientaddr;
            socklen_t len = sizeof(clientaddr);
            int client_fd = accept(listenfd, (struct sockaddr*)&clientaddr, &len);
            if (client_fd < 0) {
                perror("accept failed");
                continue;
            }
            printf("New connection from %s:%hu\n", inet_ntoa(clientaddr.sin_addr), ntohs(clientaddr.sin_port));

            // 将新连接的客户端添加到pollfd数组
            for (int i = 1; i < MAX_CLIENTS; i++) {
                if (fds[i].fd == -1) { // 找到第一个空闲位置
                    fds[i].fd = client_fd;
                    fds[i].events = POLLIN;
                    if (i >= nfds) {
                        nfds = i + 1; // 更新nfds
                    }
                    break;
                }
            }
        }

        // 处理已连接客户端的数据
        for (int i = 1; i < nfds; i++) {
            if (fds[i].fd == -1) {
                continue;
            }
            if (fds[i].revents & POLLIN) {
                char buf[100];
                bzero(buf, 100);
                int ret = read(fds[i].fd, buf, 100);
                if (ret <= 0) {
                    // 客户端关闭了连接
                    close(fds[i].fd);
                    fds[i].fd = -1;
                } else {
                    // 处理接收到的数据
                    printf("Received: %s\n", buf);
                    write(fds[i].fd, buf, ret);
                }
            }
        }
    }

    close(listenfd);
    return 0;
}

三、epoll 

        

epoll 的优点

  1. 高效性：epoll使用内核事件表来管理文件描述符，只通知实际发生事件的文件描述符，避免了select和poll中遍历所有文件描述符的开销。

  2. 扩展性：可以处理数以万计的并发连接，而select和poll在文件描述符数量多时性能会显著下降。

  3. 边缘触发与水平触发：epoll支持边缘触发（Edge Triggered, ET）和水平触发（Level Triggered, LT）模式，提供更灵活的事件通知机制。

#include <stdio.h>
#include <unistd.h>
#include <sys/stat.h>
#include <stdlib.h>
#include <netinet/in.h>
#include <netinet/ip.h>
#include <arpa/inet.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <string.h>
#include <errno.h>
#include <sys/epoll.h>

#define SERVERADDR "192.168.125.86"
#define PORT 8888
#define MAX_EVENTS 1024

int main(int argc, const char *argv[]) {
    // 创建监听套接字
    int listenfd = socket(AF_INET, SOCK_STREAM, 0);
    if (listenfd < 0) {
        perror("socket failed");
        return -1;
    }

    // 绑定套接字
    struct sockaddr_in serveraddr;
    serveraddr.sin_family = AF_INET;
    serveraddr.sin_port = htons(PORT);
    serveraddr.sin_addr.s_addr = inet_addr(SERVERADDR);
    if (bind(listenfd, (struct sockaddr*)&serveraddr, sizeof(serveraddr)) < 0) {
        perror("bind failed");
        return -1;
    }

    // 监听套接字
    if (listen(listenfd, 20) < 0) {
        perror("listen failed");
        return -1;
    }

    // 创建epoll实例，使用epoll_create(0),0表示标准实例
    int epollfd = epoll_create1(0);
    if (epollfd < 0) {
        perror("epoll_create1 failed");
        return -1;
    }

    // 添加监听套接字到epoll实例
    struct epoll_event event, events[MAX_EVENTS];
    event.events = EPOLLIN;
    event.data.fd = listenfd;
    if (epoll_ctl(epollfd, EPOLL_CTL_ADD, listenfd, &event) < 0) {
        perror("epoll_ctl: listenfd");
        return -1;
    }

    while (1) {
        // 等待事件发生
        int nfds = epoll_wait(epollfd, events, MAX_EVENTS, -1);
        if (nfds < 0) {
            perror("epoll_wait failed");
            return -1;
        }

        // 处理事件
        for (int i = 0; i < nfds; i++) {
            if (events[i].data.fd == listenfd) {
                // 处理新连接
                struct sockaddr_in clientaddr;
                socklen_t len = sizeof(clientaddr);
                int client_fd = accept(listenfd, (struct sockaddr*)&clientaddr, &len);
                if (client_fd < 0) {
                    perror("accept failed");
                    continue;
                }
                printf("New connection from %s:%hu\n", inet_ntoa(clientaddr.sin_addr), ntohs(clientaddr.sin_port));

                // 将新客户端文件描述符添加到epoll实例
                event.events = EPOLLIN;
                event.data.fd = client_fd;
                if (epoll_ctl(epollfd, EPOLL_CTL_ADD, client_fd, &event) < 0) {
                    perror("epoll_ctl: client_fd");
                    close(client_fd);
                }
            } else {
                // 处理客户端数据
                int client_fd = events[i].data.fd;
                char buf[100];
                bzero(buf, 100);
                int ret = read(client_fd, buf, 100);
                if (ret <= 0) {
                    // 客户端关闭了连接
                    close(client_fd);
                    epoll_ctl(epollfd, EPOLL_CTL_DEL, client_fd, NULL);
                } else {
                    // 处理接收到的数据
                    printf("Received: %s\n", buf);
                    write(client_fd, buf, ret);
                }
            }
        }
    }

    close(listenfd);
    close(epollfd);
    return 0;
}

@haihi
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
什么是IO多路复用？其原理和用途是什么？
小橙子的笔记屋
08-01 658
IO多路复用
IO多路复用之epoll全面总结(必看篇)
09-15
IO多路复用技术在高并发服务器编程中扮演着至关重要的角色，因为它允许单个线程同时处理多个连接。在Linux系统中，epoll是针对IO多路复用的一种高效实现，尤其适用于大规模并发连接的场景。以下是关于epoll的详细...
JAVA中的IO多路复用
代码大兵
05-24 1193
在主循环中，通过调用Selector的select()方法来等待Channel的状态发生变化，如果有Channel的状态发生变化，则select()方法会返回可用的Channel数量，并使用selectedKeys()方法获取可用的SelectionKey集合。在Java NIO中，与传统IO模型不同的是，每个通道都有一个关联的Buffer，可以直接将数据读取到或写入到这个Buffer中，而不必像传统IO模型那样先创建一个byte数组，然后将数据读取到byte数组中或从byte数组中写入数据。
IO多路复用详解
氷的博客
05-30 2068
在IO多路复用模型中，引入了一种新的系统调用，查询IO的就绪状态。在Linux系统中，对应的系统调用为select/poll/epoll系统调用。通过该系统调用，一个进程可以监视多个文件描述符，一旦某个描述符就绪（一般是内核缓冲区可读/可写），内核能够将就绪的状态返回给应用程序。随后，应用程序根据就绪的状态，进行相应的IO系统调用。在IO多路复用模型中通过select/poll/epoll系统调用，单个应用程序的线程，可以不断地轮询成百上千的socket连接，当某个或者某些socket网络连接有IO就绪的状
IO 多路复用
热门推荐
ChineseSoftware的博客
03-29 3万+
一、简述 IO 多路复用是一种同步 IO 模型，实现一个线程可以监视多个文件句柄；一旦某个文件句柄就绪，就能够通知应用程序进行相应的读写操作；没有文件句柄就绪时会阻塞应用程序，交出 cpu。IO 是指网络 IO，多路指多个TCP连接(即 socket 或者 channel)，复用指复用一个或几个线程。意思说一个或一组线程处理多个 TCP 连接。最大优势是减少系统开销小，不必创建过多的进程/线程，也不必维护这些进程/线程。IO 多路复用的三种实现方式：select、poll、epoll。 二、select .
IO多路复用之select
qq_55882840的博客
07-09 2069
IO多路复用也称IO多路转接，它是一种网络通信的手段（机制），通过这种方式可以同时监测多个文件描述符并且这个过程是阻塞的，一旦检测到有文件描述符就绪（ 可以读数据或者可以写数据）程序的阻塞就会被解除，之后就可以基于这些（一个或多个）就绪的文件描述符进行通信了。通过这种方式在单线程/进程的场景下也可以在服务器端实现并发。常见的IO多路转接方式有：select、poll、epoll。
Redis IO多路复用
Yes_water的博客
07-06 1181
本文涉及的主题： 1、BIO、NIO的业务实践和缺陷 2、Redis IO多路复用：redis快的主要原因 3、epoll 架构
理解redis的多线程和IO多路复用
10 学习笔记
06-24 3万+
理解redis的多线程和IO多路复用
操作系统- IO多路复用
an13654067079的博客
01-06 1585
1 背景 1) IO多路复用是操作系统的原理，但是很多中间件的实现都是基于它去做的，IO多复用需要 知道整个链路是样子的，输入是什么，输出是什么 2) 了解IO多路复用作用的位置是哪里 2 数据流 ...
IO多路复用简述
ab1024249403的博客
10-09 1423
一文搞懂阻塞与非阻塞、同步IO与异步IO、IO多路复用网络模型；
IO多路复用之select全面总结(必看篇)
01-10
IO多路复用是指内核一旦发现进程指定的一个或者多个IO条件准备读取，它就通知该进程。IO多路复用适用如下场合： （1）当客户处理多个描述字时（一般是交互式输入和网络套接口），必须使用I/O复用。 （2）当一个客户...
IO多路复用之poll全面总结(必看篇)
09-15
【IO多路复用之poll全面总结】 IO多路复用是一种高效的系统调用，用于在单个线程中管理多个文件描述符的输入/输出事件。在Linux系统中，poll是与select类似的机制，但克服了select在描述符数量上的限制。本文将对...
io多路复用解析
12-07
IO 多路复用解析 IO 多路复用是一种高效的输入/输出（I/O）管理机制，允许单个进程同时监控多个文件描述符（FD），以便在其中某个文件描述符上发生事件时，立即响应。IO 多路复用机制广泛应用于服务器端编程、网络...
spring事务详细讲解-深入浅出
小电玩
09-08 433
Spring 事务是本身就是对数据库的事务的支持，没有数据库的事务 Spring 是本身无法实现事务的。Spring只提供了统一事务管理接口，具体的实现还是由各数据库自己实现。在使用 Spring 事务时，可以通过注解或编程方式将需要进行事务管理的方法和代码块标记为事务性操作，当这些操作被执行时，Spring 会负责开启时根据当前环境中设置的隔离级别，调整数据库隔离级别。
数据同步是如何实现的？为什么需要数据同步？
oOBubbleX的博客
09-05 899
实时数据同步，确保数据的一致性和实时更新性，将有利于企业各部门之间高效协作，从而支持企业的业务运作和决策。本文将介绍数据同步概念、数据同步的步骤、数据同步的方式，从而加深对数据同步的认识。
【提效工具】AI工作流的1-10个实际落地场景
最新发布
万物皆有灵
09-09 685
在这个快速发展的数字时代，人工智能（AI）正在以惊人的速度改变我们的工作方式。无论你是开发者、教育工作者还是内容创作者，AI工作流提示词助手都能为你提供无与伦比的支持。今天，我们将深入探讨，20个实际落地场景，帮助你更好地理解如何利用这些工具提升工作效率和创造力。💡。
【MYSQL】
ABC1234567890ABM的博客
09-06 934
单列索引情况：根据下图可以看到，查询条件中有phone和name，他们都有单列索引，但是执行explain后发现真正只走了phone的索引，因为phone索引中没有name值，故还需回表走一次聚簇索引。为了避免DML在执行时，加的行锁与表锁的冲突，在InnoDB中引入了意向锁，使得表锁不用检查每行数据是否加锁，使用意向锁来减少表锁的检查。全局锁就是对整个数据库实例加锁，加锁后整个实例就处于只读状态，后续的DML的写语句，DDL语句，已经更新操作的事务提交语句都将被阻塞。表级锁，每次操作锁住整张表。
jmeter之setUP、tearDown线程组
回家吃月饼的学习交流地
09-07 486
jmeter之setUP、tearDown线程组的使用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值