探索异步I/O：从同步到非阻塞的性能优化之路

于 2024-04-23 12:05:37 发布
阅读量757 收藏 14
点赞数 30
分类专栏： Rust之Web开发 文章标签： 性能优化 php 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/silenceallat/article/details/138119714
版权

网络编程：了解TCP/IP协议，掌握Socket编程和异步I/O操作

引言

在当今的数字化时代，网络编程已成为软件开发中不可或缺的一部分。无论是开发Web应用，还是构建分布式系统，都离不开网络编程的基础知识。其中，TCP/IP协议、Socket编程和异步I/O操作是网络编程的核心内容。本文将带领大家了解TCP/IP协议，掌握Socket编程和异步I/O操作，并通过实际案例加深对技术的理解。

TCP/IP协议

TCP/IP协议是互联网的基础，它定义了计算机在网络中通信的规则。TCP/IP协议由两个主要协议组成：TCP（传输控制协议）和IP（互联网协议）。

1. IP协议

IP协议负责将数据包从源地址发送到目标地址。它将整个网络视为一个大的广播域，每个数据包都包含源IP地址和目标IP地址。想象一下，IP协议就像快递公司的包裹，每个包裹上都写有寄件人和收件人的地址。

2. TCP协议

TCP协议负责在两个主机之间建立可靠的连接，并保证数据的有序传输。它将大块数据分割成小的数据包，确保每个数据包都正确到达目标主机，并在接收端重新组装成原始数据。类比来说，TCP协议就像打电话，先拨号建立连接，然后才能愉快地聊天，保证双方都能听到对方的话。

应用场景

  • 浏览网页：浏览器使用HTTP协议（基于TCP/IP协议）向服务器请求网页内容，服务器响应请求并将网页数据发送给浏览器。
  • 发送电子邮件：电子邮件客户端使用SMTP协议（基于TCP/IP协议）将邮件发送到服务器，服务器再将邮件转发到收件人的邮箱。

Socket编程

Socket编程是实现网络通信的关键技术。Socket可以看作是网络通信的端点，通过Socket可以发送和接收数据。

1. 创建Socket

创建Socket的步骤如下：

  1. 调用socket()函数，指定协议族（如AF_INET表示IPv4，AF_INET6表示IPv6），协议类型（如SOCK_STREAM表示TCP，SOCK_DGRAM表示UDP）。
  2. 分配一个Socket描述符（通常是一个整数值）。

2. 绑定地址

绑定地址的步骤如下：

  1. 调用bind()函数，将Socket绑定到特定的IP地址和端口号。
  2. 指定IP地址（可以是特定的IP地址，也可以是通用的IP地址，如0.0.0.0）。
  3. 指定端口号（可以是特定的端口号，也可以是通用的端口号，如0表示由系统自动分配）。

3. 监听连接

监听连接的步骤如下：

  1. 调用listen()函数，设置监听的Socket。
  2. 指定最大连接数，如果设置为0，表示不限制连接数。

4. 接受连接

接受连接的步骤如下：

  1. 调用accept()函数，等待客户端的连接请求。
  2. 返回一个新的Socket描述符，用于与客户端进行通信。

5. 发送和接收数据

发送和接收数据的步骤如下：

  1. 调用send()或recv()函数，发送或接收数据。
  2. 指定数据缓冲区，数据长度和 flags（如0表示无标志，MSG_DONTWAIT表示非阻塞模式等）。

应用场景

  • 客户端/服务器模型：服务器端创建一个Socket，监听特定端口号，等待客户端的连接请求。客户端创建一个Socket，连接到服务器端的IP地址和端口号。通过Socket发送和接收数据，实现客户端和服务器端的通信。

异步I/O操作

在网络编程中，I/O操作通常是阻塞的，即在等待数据传输时，程序会暂停执行。异步I/O操作允许程序在等待I/O操作完成时继续执行其他任务，提高程序的效率。

1. I/O多路复用

I/O多路复用是一种实现异步I/O操作的技术。它可以同时监听多个Socket的I/O事件，当有事件发生时，通知程序进行相应的处理。

2. 非阻塞模式

非阻塞模式是另一种实现异步I/O操作的方法。在非阻塞模式下，当程序尝试发送或接收数据时，如果I/O操作未完成，系统将立即返回一个错误，程序可以在此期间执行其他任务，直到I/O操作完成。

3. 异步I/O函数

在某些操作系统中，如Linux，提供了异步I/O函数，如aio_read和aio_write。这些函数允许程序启动I/O操作，并使用文件描述符来查询I/O操作的状态。

应用场景

  • 高并发服务器：使用异步I/O操作可以处理大量并发连接，提高服务器的性能和吞吐量。例如，使用异步I/O操作的Web服务器可以同时处理成千上万个并发请求。

案例分析

1. 简单的TCP服务器

以下是一个简单的TCP服务器示例，使用C语言编写：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#define PORT 8080
#define BUFFER_SIZE 1024
int main() {
    int server_fd, client_fd;
    struct sockaddr_in server_addr, client_addr;
    socklen_t addr_len = sizeof(client_addr);
    char buffer[BUFFER_SIZE];
    // 创建Socket
    server_fd = socket(AF_INET, SOCK_STREAM, 0);
    if (server_fd < 0) {
        perror("socket error");
        exit(EXIT_FAILURE);
    }
    // 绑定地址
    memset(&server_addr, 0, sizeof(server_addr));
    server_addr.sin_family = AF_INET;
    server_addr.sin_addr.s_addr = INADDR_ANY;
    server_addr.sin_port = htons(PORT);
    if (bind(server_fd, (struct sockaddr*)&server_addr, sizeof(server_addr)) < 0) {
        perror("bind error");
        close(server_fd);
        exit(EXIT_FAILURE);
    }
    // 监听连接
    if (listen(server_fd, 10) < 0) {
        perror("listen error");
        close(server_fd);
        exit(EXIT_FAILURE);
    }
    // 接受连接
    client_fd = accept(server_fd, (struct sockaddr*)&client_addr, &addr_len);
    if (client_fd < 0) {
        perror("accept error");
        close(server_fd);
        exit(EXIT_FAILURE);
    }
    // 接收数据
    memset(buffer, 0, BUFFER_SIZE);
    ssize_t bytes_read = read(client_fd, buffer, BUFFER_SIZE - 1);
    if (bytes_read < 0) {
        perror("read error");
        close(client_fd);
        exit(EXIT_FAILURE);
    }
    buffer[bytes_read] = '\0';
    printf("Received message: %s\n", buffer);
    // 发送数据
    const char* response = "Hello, client!";
    ssize_t bytes_written = write(client_fd, response, strlen(response));
    if (bytes_written < 0) {
        perror("write error");
        close(client_fd);
        exit(EXIT_FAILURE);
    }
    // 关闭连接
    close(client_fd);
    close(server_fd);
    return 0;
}

2. 异步I/O服务器

异步I/O服务器的实现通常依赖于特定的操作系统和编译器支持。以下是一个使用Linux异步I/O函数的示例：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/ioctl.h```
#include <sys/ioctl.h>
#include <linux/if.h>
#include <aio.h>
#include <fcntl.h>
#define PORT 8080
#define BUFFER_SIZE 1024
int main() {
    int server_fd, client_fd;
    struct sockaddr_in server_addr, client_addr;
    socklen_t addr_len = sizeof(client_addr);
    char buffer[BUFFER_SIZE];
    struct aiocb aiocb;
    // 创建Socket
    server_fd = socket(AF_INET, SOCK_STREAM, 0);
    if (server_fd < 0) {
        perror("socket error");
        exit(EXIT_FAILURE);
    }
    // 绑定地址
    memset(&server_addr, 0, sizeof(server_addr));
    server_addr.sin_family = AF_INET;
    server_addr.sin_addr.s_addr = INADDR_ANY;
    server_addr.sin_port = htons(PORT);
    if (bind(server_fd, (struct sockaddr*)&server_addr, sizeof(server_addr)) < 0) {
        perror("bind error");
        close(server_fd);
        exit(EXIT_FAILURE);
    }
    // 监听连接
    if (listen(server_fd, 10) < 0) {
        perror("listen error");
        close(server_fd);
        exit(EXIT_FAILURE);
    }
    // 接受连接
    client_fd = accept(server_fd, (struct sockaddr*)&client_addr, &addr_len);
    if (client_fd < 0) {
        perror("accept error");
        close(server_fd);
        exit(EXIT_FAILURE);
    }
    // 设置异步I/O
    memset(&aiocb, 0, sizeof(aiocb));
    aiocb.aio_fildes = client_fd;
    aiocb.aio_buf = buffer;
    aiocb.aio_nbytes = BUFFER_SIZE;
    aiocb.aio_offset = 0;
    aiocb.aio_sigevent.sigev_notify = SIGEV_NOTIFY_ONCE;
    aiocb.aio_sigevent.sigev_value.sival_int = 0;
    // 发起异步读取
    if (aio_read(&aiocb) == -1) {
        perror("aio_read error");
        close(client_fd);
        exit(EXIT_FAILURE);
    }
    // 等待异步I/O完成
    ssize_t bytes_read = aio_return(&aiocb);
    if (bytes_read < 0) {
        perror("aio_return error");
        close(client_fd);
        exit(EXIT_FAILURE);
    }
    // 处理接收到的数据
    printf("Received message: %s\n", buffer);
    // 发送数据
    const char* response = "Hello, client!";
    aiocb.aio_nbytes = strlen(response);
    if (aio_write(&aiocb) == -1) {
        perror("aio_write error");
        close(client_fd);
        exit(EXIT_FAILURE);
    }
    // 等待异步I/O完成
    bytes_read = aio_return(&aiocb);
    if (bytes_read < 0) {
        perror("aio_return error");
        close(client_fd);
        exit(EXIT_FAILURE);
    }
    // 关闭连接
    close(client_fd);
    close(server_fd);
    return 0;
}

这个示例展示了如何使用Linux的异步I/O函数来实现一个简单的服务器。请注意，这个示例可能需要特定的编译器和操作系统支持。

3. 客户端程序

如果觉得文章对您有帮助，可以关注同名公众号『随笔闲谈』，获取更多内容。欢迎在评论区留言，我会尽力回复每一条留言。如果您希望持续关注我的文章，请关注我的博客。您的点赞和关注是我持续写作的动力，谢谢您的支持！

多多的编程笔记
关注
专栏目录
（九）深入浅出TCPIP之网络同步异步
网易搬砖选手
10-31 1247
在网络同步中，有两种同步方式，分别为同步与异步。 同步的操作指的是，当所有的操作请求都做完，才将结果返回给用户，用户才能进行下一个操作，这样就会让用户有一种卡顿的感觉，因为需要等待上一步操作的执行结果。 异步操作指的是，用户的操作之间不需要进行等待，而是在服务端设置一个消息队列，保存用户的每一步的操作，因此用户不会有卡顿的感觉。
掌握 Python 异步编程：综合指南
最新发布
gongdiwudu的专栏
01-19 2113
本综合指南旨在阐明 Python 异步编程的复杂性。它面向初学者和经验丰富的程序员，旨在提供对异步编程模型及其在 Python 中的实际应用的透彻理解。
异步I/O
lwj的博客
12-31 429
阻塞 / 非阻塞 VS 同步 / 异步 阻塞I/O 第一种是阻塞 I/O。阻塞 I/O 发起的 read 请求，线程会被挂起，一直等到内核数据准备好，并把数据从内核区域拷贝到应用程序的缓冲区中，当拷贝过程完成，read 请求调用才返回。接下来，应用程序就可以对缓冲区的数据进行数据解析。 非阻塞I/O 非阻塞的 read 请求在数据未准备好的情况下立即返回，应用程序可以不断轮询内核，直到数据准备好...
异步I/O原理
Phil_Young的博客
06-27 514
同步I/O 发出一个请求后必须等待前个请求完成，才能进入下一个请求。 比如说你发信息给女朋友要求她回电后，不能干别的事情，例如发信息给我。 异步I/O 发出一个请求后，无论是否完成，都能发起下一个请求。            比如说你发信息给我后，爱干嘛干嘛。 同步是m＋n，异步是max（m，n） fn.dosomething(u,x); fn.dosomething.wr
高性能网络模式：Reactor 和 Proactor
hai01421的专栏
05-24 428
Reactor 和 Proactor是两个高性能网络模式。 别小看这两个东西，特别是 Reactor 模式，市面上常见的开源软件很多都采用了这个方案，比如 Redis、Nginx、Netty 等等，所以学好这个模式设计的思想，不仅有助于我们理解很多开源软件，而且也能在面试时吹逼。 # 大佬们还为这种模式取了个让人第一时间难以理解的名字：Reactor 模式。 Reactor 翻译过来的意思是「反应堆」，可能大家会联想到物理学里的核反应堆，实际上并不是的这个意思。 这里的反应指的是「对事件反..
30 | 真正的大杀器：异步I/O探索
qq_37756660的博客
10-21 83
和同步 I/O 相比，异步 I/O 的读写动作由内核自动完成，不过，在 Linux 下目前仅仅支持简单的基于本地文件的 aio 异步操作，这也使得我们在编写高性能网络程序时，首选 Reactor 模式，借助 epoll 这样的 I/O 分发技术完成开发；而 Windows 下的 IOCP 则是一种异步 I/O 的技术，并由此产生了和 Reactor 齐名的 Proactor 模式，借助这种模式，可以完成 Windows 下高性能网络程序设计。
使用异步 I/O 大大提高应用程序的性能
Linuxhus的博客
12-24 343
AIO 简介 Linux 异步 I/O 是 Linux 内核中提供的一个相当新的增强。它是 2.6 版本内核的一个标准特性，但是我们在 2.4 版本内核的补丁中也可以找到它。AIO 背后的基本思想是允许进程发起很多 I/O 操作，而不用阻塞或等待任何操作完成。稍后或在接收到 I/O 操作完成的通知时，进程就可以检索 I/O 操作的结果。 I/O 模型 在深入介绍 AIO API 之前，让我们先来探索一下 Linux 上可以使用的不同 I/O 模型。这并不是一个详尽的介绍，但是我们将试图介绍最常用的一些
生产型超级计算机I/O性能的动态适应与优化
ACM Transactions on Storage，Vol.号154、第二十六条。...杜克大学，蔡斯本文研究了Titan超级计算机及其Lustre并行文件存储在生产负载下的I/O写行为这些结果可以为文件系统的设计、部署和配置以及应用程
探索Python异步I_O操作
而在异步编程中，程序可以并发执行多个操作，其中某些操作可能是非阻塞的，从而提高了程序的效率和性能。 异步编程的核心概念是任务和事件循环。任务是需要异步执行的操作，而事件循环负责管理和调度这些任务的执行...
Linux中如何使用异步I/O 技术
j简说Linux的博客
12-26 818
本节将探索 Linux 的异步 I/O 模型，从而帮助我们理解如何在应用程序中使用这种技术。在传统的 I/O 模型中，有一个使用惟一句柄标识的 I/O 通道。在 UNIX® 中，这些句柄是文件描述符（这对等同于文件、管道、套接字等等）。在阻塞 I/O 中，我们发起了一次传输操作，当传输操作完成或发生错误时，系统调用就会返回。Linux 上的 AIOAIO 在 2.5 版本的内核中首次出现，现在已经是 2.6 版本的产品内核的一个标准特性了。在异步非阻塞 I/O 中，我们可以同时发起多个传输操作。
tcp的同步与异步
04-16
TCP的同步与异步通信程序
TCP异步同步机制
09-06
自己封装的TCP通信的代码，调用相关函数连接并提供回调函数，当有网络数据会自动回调，就像Windows Message原理差不多~
Qt-Tcp编程(异步与同步解读)
godaa的博客
04-10 5079
QTcpSocket 支持两种通用的网络编程方法 异步（非阻塞）方法:当控制返回到 Qt 的事件循环时，操作会被调度和执行。 当操作完成时，QTcpSocket 会发出一个信号。 例如，QTcpSocket::connectToHost() 立即返回，当连接建立后，QTcpSocket 发出 connected()。 同步（阻塞）方法:在非 GUI 和多线程应用程序中，您可以调用 waitFor…() 函数（例如，QTcpSocket::waitForConnected()）来暂停调用线程直到操作完成，而不
TCP同步和异步连接_学习笔记
u013641339的专栏
07-16 9464
所谓同步连接，就是一个服务器与第一个请求建立连接并通信后，第二个请求将会被阻塞。 所谓异步连接，就是一个服务器可以同时响应多个请求。 同步：服务器与接受请求的代码： TcpListene server = newTcpListener(IPAddress.Parse("127.0.0.1"), port); TcpClient tc =server.AcceptTcpC
TCP同步与异步
05-24 334
　　首先我简单介绍一下同步TCP编程 与异步TCP编程。 　1　(1)同步：在服务端我们通常用一个TcpListener来监听一个IP和端口。客户端来一个请求的连接，在服务端可以用同步的方式来接收，也可以用异步的方式去接收。比如： TcpListene server = new TcpListener(IPAddress.Parse("127.0.0.1"), port); Tcp...
TCP同步与异步及阻塞模式，多线程+阻塞模式，非阻塞模式简单介绍
weixin_34160277的博客
08-14 141
首先我简单介绍一下同步TCP编程 与异步TCP编程。 在服务端我们通常用一个TcpListener来监听一个IP和端口。客户端来一个请求的连接，在服务端可以用同步的方式来接收，也可以用异步的方式去接收。比如： TcpListene server = new TcpListener(IPAddress.Parse("127.0.0.1"), port); TcpClien...
Java I/O 模型深度解析：从Unix模型到Java的演进
"探索Java I/O 模型的演进，理解同步、异步、阻塞与非阻塞的概念，以及Unix下的五种I/O模型" Java I/O模型的演进是一个重要的主题，对于优化系统并发性和可用性至关重要。在深入讨论Java I/O模型之前，我们需要先...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值