文件读写——如何实现非阻塞式IO？

已于 2024-01-17 22:08:59 修改
阅读量2k 收藏 3
点赞数
分类专栏： 系统编程 文章标签： linux系统编程
于 2017-07-15 21:50:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oqqHuTu12345678/article/details/75091302
版权

以下内容源于朱有鹏嵌入式课程的学习与整理，如有侵权请告知删除。

一、阻塞式IO

1、阻塞式的概念

我们知道，有些函数在调用时（比如网络编程中的recv函数），如果某些条件不满足，则会进入等待状态，直到条件满足才去执行操作并返回。这种函数就叫做阻塞式函数。在文件IO中，阻塞式函数（或者API）有wait、pause、sleep等函数。

另外，使用read或write某些文件时（read和write函数本身不是阻塞式的），文件对应的对象可能是阻塞式的，比如键盘和鼠标就是阻塞式设备。

Linux系统默认使用阻塞式。

2、阻塞式的缺点

阻塞式的设计，既有它的好处，也有它的困境。它的好处是简单容易实现，有利于充分发挥CPU的性能。

它的缺点，我们用一个例子说明。上面提及，键盘和鼠标都是阻塞式设备。

1、在程序中读取键盘

比如执行下面这段代码，read函数会等待键盘输入完成（因为shell是行缓冲的，输入回车时表示输入完成，不按下回车就表示输入还没有结束），从而阻塞。

int main(void)
{
	// 读取键盘
	// 键盘就是标准输入，stdin
	
	char buf[100];
	
	memset(buf, 0, sizeof(buf));
	printf("before read.\n");
	read(0, buf, 5);
	printf("读出的内容是：[%s].\n", buf);
	
	return 0;
}

2、 在程序中读取鼠标

比如执行下面这段代码。（这里我们先使用cat命令来查看使用的鼠标对应哪个文件，以便在代码中open时使用。）代码执行后，移动鼠标屏幕有数据输出。

int main(void)
{
	// 读取鼠标
	int fd = -1;
	char buf[200];
	
	fd = open("/dev/input/mouse1", O_RDONLY);
	if (fd < 0)
	{
		perror("open:");
		return -1;
	}
	
	memset(buf, 0, sizeof(buf));
	printf("before read.\n");
	read(fd, buf, 50);
	printf("读出的内容是：[%s].\n", buf);
	
	
	return 0;
}

3、 在程序中同时读取鼠标与键盘

我们希望实现动键盘就显示键盘的内容，动鼠标就显示鼠标的内容。

但是下面的程序的现象却是：如果顺着程序，先鼠标再键盘则顺利显示；如果先键盘的话，会被鼠标阻塞住。

#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>


int main(void)
{
	// 读取鼠标
	int fd = -1;
	char buf[200];
	
	fd = open("/dev/input/mouse1", O_RDONLY);
	if (fd < 0)
	{
		perror("open:");
		return -1;
	}
	
	memset(buf, 0, sizeof(buf));
	printf("before 鼠标 read.\n");
	read(fd, buf, 50);
	printf("鼠标读出的内容是：[%s].\n", buf);
	
	// 读键盘
	memset(buf, 0, sizeof(buf));
	printf("before 键盘 read.\n");
	read(0, buf, 5);//键盘就是标准输入，stdin，用0表示，它是默认打开的。
	printf("键盘读出的内容是：[%s].\n", buf);
	
	return 0;
}

二、非阻塞式IO

1、实现非阻塞式IO的两种方法

如何实现非阻塞式IO呢？有两种方法：

（1）方法一：打开文件时添加O_NONBLOCK标志。

（2）方法二：普通打开文件后，使用fcntl函数设置文件描述符的属性。

2、代码示例

分别利用O_NONBLOCK标志、fcntl函数， 将上节中阻塞式的鼠标和键盘读取改为非阻塞式的。

#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

int main(void)
{
	// 读取鼠标
	int fd = -1;
	int flag = -1;
	char buf[200];
	int ret = -1;
	
    //方法一：利用O_NONBLOCK标志将鼠标设置为非阻塞式的  
	fd = open("/dev/input/mouse1", O_RDONLY | O_NONBLOCK);
	if (fd < 0)
	{
		perror("open:");
		return -1;
	}

	//方法二：利用fcntl函数设置键盘为非阻塞式的                                   
	// 把0号文件描述符（stdin）变成非阻塞式的    
	flag = fcntl(0, F_GETFL);		// 先获取原来的flag
	flag |= O_NONBLOCK;				// 添加非阻塞属性
	fcntl(0, F_SETFL, flag);		// 更新flag
	// 这3步之后，0就变成了非阻塞式的了
	
	while (1)
	{
		// 读鼠标
		memset(buf, 0, sizeof(buf));
		ret = read(fd, buf, 50);
		if (ret > 0)
		{
			printf("鼠标读出的内容是：[%s].\n", buf);
		}
		
		// 读键盘
		memset(buf, 0, sizeof(buf));
		ret = read(0, buf, 5);
		if (ret > 0)
		{
			printf("键盘读出的内容是：[%s].\n", buf);
		}
	}
	
	return 0;
}

三、并发式IO的解决方案（解决多路阻塞式IO的方案）

由上面的例子引出话题：并发式IO的解决方案，或者说多路阻塞式IO的解决方案。

比如上面的例子中，鼠标与键盘都是阻塞式的IO设备（即多路阻塞），它们可能同时启动与输入数据（即并发式）。在上面例子中，我们使用fcntl函数和O_NONBLOCK标志解决了阻塞的问题，但是性能不是很好。其实还可以利用多路复用IO、异步IO、存储映射IO来解决阻塞的问题。

1、多路复用IO

（1）方法原理

多路复用IO英文为“ IO multiplexing ”，主要用于解决多路阻塞式IO的问题。

它涉及select函数、poll函数，这两个函数的设计思想一样，只是外部特征不一样，我们可以任选其一来完成功能。

它的实现原理是：外部阻塞式（select函数本身是阻塞式的），内部自动轮询多路阻塞式IO（键盘A，鼠标B，这两者本身是阻塞式的），只要AB至少有一个输入，则select由阻塞返回。

（2）代码示例

1）比如使用select函数实现同时读取鼠标键盘。

 int select(int nfds, fd_set *readfds, fd_set *writefds,
                  fd_set *exceptfds, struct timeval *timeout);

在代码中设置了超时时间，即阻塞时间不能太长，如果很久没有IO来激活select，则表明超时了。

#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <sys/select.h>
#include <sys/time.h>

int main(void)
{
	// 读取鼠标
	int fd = -1, ret = -1;
	char buf[200];
	fd_set myset;
	struct timeval tm;//设置超时时间，即阻塞的时间不能太长，
                      //如果很久都没有IO来激活select，则表明超时了。
	
	fd = open("/dev/input/mouse1", O_RDONLY);
	if (fd < 0)
	{
		perror("open:");
		return -1;
	}
	
	// 当前有2个fd，一共是fd一个是0
	// 处理myset
	FD_ZERO(&myset);
	FD_SET(fd, &myset);
	FD_SET(0, &myset);
	
	tm.tv_sec = 10;
	tm.tv_usec = 0;
                  //+1，是因为0~fd，则共有fd+1个文件描述符
	ret = select(fd+1, &myset, NULL, NULL, &tm);
	if (ret < 0)//错误
	{
		perror("select: ");
		return -1;
	}
	else if (ret == 0)//表明超时
	{
		printf("超时了\n");
	}
	else//>0表示有一路IO激活了
	{
		// 等到了一路IO，然后去监测到底是哪个IO到了，处理之
		if (FD_ISSET(0, &myset))
		{
			// 这里处理键盘
			memset(buf, 0, sizeof(buf));
			read(0, buf, 5);
			printf("键盘读出的内容是：[%s].\n", buf);
		}
		
		if (FD_ISSET(fd, &myset))
		{
			// 这里处理鼠标
			memset(buf, 0, sizeof(buf));
			read(fd, buf, 50);
			printf("鼠标读出的内容是：[%s].\n", buf);
		}
	}

	return 0;
}

2）用poll函数实现同时读取键盘鼠标。

#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <poll.h>

int main(void)
{
	// 读取鼠标
	int fd = -1, ret = -1;
	char buf[200];
	struct pollfd myfds[2] = {0};
	
	fd = open("/dev/input/mouse1", O_RDONLY);
	if (fd < 0)
	{
		perror("open:");
		return -1;
	}
	
	// 初始化我们的pollfd
	myfds[0].fd = 0;		// 键盘
	myfds[0].events = POLLIN;	// 等待读操作
	
	myfds[1].fd = fd;		// 鼠标
	myfds[1].events = POLLIN;	// 等待读操作

	ret = poll(myfds, fd+1, 10000);
	if (ret < 0)
	{
		perror("poll: ");
		return -1;
	}
	else if (ret == 0)
	{
		printf("超时了\n");
	}
	else
	{
		// 等到了一路IO，然后去监测到底是哪个IO到了，处理之
		if (myfds[0].events == myfds[0].revents)
		{
			// 这里处理键盘
			memset(buf, 0, sizeof(buf));
			read(0, buf, 5);
			printf("键盘读出的内容是：[%s].\n", buf);
		}
		
		if (myfds[1].events == myfds[1].revents)
		{
			// 这里处理鼠标
			memset(buf, 0, sizeof(buf));
			read(fd, buf, 50);
			printf("鼠标读出的内容是：[%s].\n", buf);
		}
	}

	return 0;
}

2、异步IO

（1）方法原理

几乎可以认为，异步IO就是操作系统用软件实现的一套中断响应系统。

异步IO的工作方法是：我们当前进程注册一个异步IO事件（使用signal注册一个信号SIGIO的处理函数），然后当前进程可以正常处理自己的事情，当异步事件发生后当前进程会收到一个SIGIO信号从而执行绑定的处理函数去处理这个异步事件。

主要涉及两个函数：fcntl函数（F_GETFL（获取flag）、F_SETFL、O_ASYNC（表明可以接收异步通知）、F_SETOWN（设置通知谁，一般都是通知当前进程）），以及signal或者sigaction（SIGIO）函数。

（2）代码实践

#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <signal.h>

int mousefd = -1;

// 绑定到SIGIO信号，在函数内处理异步通知事件
void func(int sig)
{
	char buf[200] = {0};
	
	if (sig != SIGIO)
		return;

	read(mousefd, buf, 50);
	printf("鼠标读出的内容是：[%s].\n", buf);
}

int main(void)
{
	// 读取鼠标
	char buf[200];
	int flag = -1;
	
	mousefd = open("/dev/input/mouse1", O_RDONLY);
	if (mousefd < 0)
	{
		perror("open:");
		return -1;
	}	
	// 把鼠标的文件描述符设置为可以接受异步IO
	flag = fcntl(mousefd, F_GETFL);
	flag |= O_ASYNC;
	fcntl(mousefd, F_SETFL, flag);
	// 把异步IO事件的接收进程设置为当前进程
	fcntl(mousefd, F_SETOWN, getpid());
	
	// 注册当前进程的SIGIO信号捕获函数
	signal(SIGIO, func);
	
	// 读键盘，在这里是当前进程
	while (1)
	{
		memset(buf, 0, sizeof(buf));
		read(0, buf, 5);
		printf("键盘读出的内容是：[%s].\n", buf);
	}
		
	return 0;
}

3、存储映射IO

该方法体现在mmap函数，将一个文件和一段内存映射起来，比如LCD设备文件和显存的对应，比如IPC之共享内存。

由于共享而不是复制，减少内存操作，处理大文件时效率高（一般用于视频处理）。

天糊土
关注
专栏目录
非阻塞算法（Lock-Free）的实现
m0_68064743的博客
04-30 1408
非阻塞算法（Lock-Free）的实现 上篇文章我们讲到了使用锁会带来的各种缺点，本文将会讲解如何使用非阻塞算法。非阻塞算法一般会使用CAS来协调线程的操作。 虽然非阻塞算法有诸多优点，但是在实现上要比基于锁的算法更加繁琐和负责。 本文将会介绍两个是用非阻塞算法实现的数据结构。 非阻塞的栈 我们先使用CAS来构建几个非阻塞的栈。栈是最简单的链式结构，其本质是一个链表，而链表的根节点就是栈顶。 我们先构建Node数据结构： public class Node<E> { public fin
非阻塞算法在并发容器中的实现
run_forever1的专栏
02-20 425
简介 非阻塞算法在更细粒度的层面协调争用，它比传统的锁有更高的并发性。随着非阻塞算法在 Java 中的应用越来越广泛，java.concurrent 包中用非阻塞算法实现的并发容器也越来越多，ConcurrentLinkedQueue 就是其中的一个重要成员。鉴于 ConcurrentLinkedQueue 的非阻塞算法实现在并发容器中具有代表性，本文将结合 JDK Update23 的源代码来
五种IO模型
最新发布
weixin_73567058的博客
08-17 770
在进行网络编程或文件操作时，IO模型的选择对程序的性能和效率有着重要的影响。本文将介绍五种IO模型，并详细讨论非阻塞IO的相关内容。数据准备、数据读写通俗一点： IO = 等待 + 拷贝。
非阻塞IO的实现方式
diaoju3333的博客
06-12 538
1、状态轮询； 2、状态订阅； 3、完成回掉； 转载于:https://www.cnblogs.com/feng9exe/p/11010105.html
并发式IO的解决方案：多路非阻塞式IO、多路复用、异步IO
12-23 158
在Linux应用编程中的并发式IO的三种解决方案是： (1) 多路非阻塞式IO (2) 多路复用 (3) 异步IO 以下代码将以操作鼠标和键盘为实例来演示。 1.多路非阻塞式IO 多路非阻塞式IO访问，主要是添加O_NONBLOCK标志和fcntl()函数。 代码示例： 1 /* 2 * 并发式IO的解决方案1：多路非阻塞式IO处理键盘和鼠标同时读取 ...
阻塞/非阻塞读写总结、tcp网络编程的本质、muduo::Buffer设计简介
Meditation
11-07 9951
一、阻塞/非阻塞读写总结 1、对于read 调用，如果接收缓冲区中有 20字节，请求读 100个字节，就会返回 20；对于 write调用，如果请求写 100个字节，而发送缓冲区中只有 20个字节的空闲位置，那么 write会阻塞，直到把 100个字节全部交给发送缓冲区才返回。但如果 socket文件描述符有 O_NONBLOCK标志，则 write不阻塞，直接返回 20；此时非
阻塞式IO和非阻塞式IO
Leaviathan的博客
03-27 7804
什么是阻塞式IO，什么是非阻塞式IO？区分他们有何用？ 使用java的阻塞式IO实现非阻塞式IO。 怎么使用c语言实现非阻塞式socket线程？
NIO——非阻塞式网络通信
笔记别偷看
05-21 634
阻塞与非阻塞 传统的IO 流都是阻塞式的。也就是说，当一个线程调用read() 或write() 时，该线程被阻塞，直到有一些数据被读取或写入，该线程在此期间不能执行其他任务。因此，在完成网络通信进行IO 操作时，由于线程会阻塞，所以服务器端必须为每个客户端都提供一个独立的线程进行处理，当服务器端需要处理大量客户端时，性能急剧下降。 Java NIO 是非阻塞模式的。当线程从某通道进行读写数据时，若没有数据可用时，该线程可以进行其他任务。线程通常将非阻塞IO 的空闲时间用于在其他通道上执行IO 操作，所以
NIO——（New IO，新IO）非阻塞式输入/输出流
wang_yaqin的博客
01-23 821
1.NIO的介绍 1.1由来      BufferedReader和InputStream从流中读取数据时，没有读到有效的数据，程序就会在此处阻塞该线程的执行。传统的输入流、输出流都是通过字节的移动来处理（即使不直接去处理字节流，但是底层的实现还是依赖于字节的处理），也就是说，面向流的输入输出系统都是一次只能处理一个字节，都会产生阻塞，因此面向流的输入输出系统通常效率不高。    jdk1...
JAVA NIO知识点总结——网络阻塞IO与非阻塞IO
Java干货
01-09 4175
传统的 IO 流都是阻塞式的。也就是说，当一个线程调用 read() 或 write()时，该线程被阻塞，直到有一些数据被读取或写入，该线程在此期间不能执行其他任务。因此，在完成网络通信进行 IO 操作时，由于线程会阻塞，所以服务器端必须为每个客户端都提供一个独立的线程进行处理，当服务器端需要处理大量客户端时，性能急剧下降。     Java NIO 是非阻塞模式的。当线程从某通道进行读写数据时
介绍一下什么是异步IO、同步IO、阻塞IO以及非阻塞IO等
程序员光剑
07-29 981
在介绍Python对异步IO的支持前，先简单介绍一下什么是异步IO、同步IO、阻塞IO以及非阻塞IO等。blocking IO 阻塞IOnonblocking IO 非阻塞IOIO multiplexing IO多路复用asynchronous IO 异步IO1.等待数据准备（Waiting for the data to be ready）
fcntl函数的用法总结
热门推荐
rotation博客
07-21 4万+
fcntl函数功能 记录锁
文件设置为非阻塞
qq_38945339的博客
03-12 227
#include <stdio.h> #include <stdlib.h> #include <errno.h> #include <string.h> #include <fcntl.h> #include <unistd.h> #define MSG_TRY "try again\n" #define MSG_TIMEOUT "time out\n" int main(int argc, char *argv[]) { ch
Read函数的阻塞模式和非阻塞模式
weixin_44768052的博客
08-20 1785
read 函数的阻塞模式在网络编程中经常会带来一些问题，比如当我们需要同时处理多个连接的时候，如果有一个连接出现了阻塞，那么整个程序都会被阻塞。下面是一个在网络编程中常见的使用 read 函数的示例，我们需要从 socket 中读取数据。如果我们尝试读取的文件当前没有数据可读，那么 read 函数会进行阻塞，直到有数据可读。read阻塞和非阻塞：数据未准备好时是否立即返回。
聊聊非阻塞I/O编程
u014714618的专栏
03-19 300
写在前面随着互联网的发展，面对海量用户高并发业务，传统的阻塞I/O架构已经无能为力，改善阻塞问题是服务器高性能架构的关键优化点，本篇文章介绍非阻塞I/O编程的实现。阻塞I/O与非阻塞I/O...
设置文件描述符的非阻塞模式
occupy8的专栏
10-21 1987
#define set_block_fd(fd)    fcntl(fd, F_SETFL, 0) #define set_nonblock_fd(fd) fcntl(fd,  F_SETFL, O_NONBLOCK )
文件描述符和fcntl及阻塞非阻塞
csdn_kou的博客
08-26 933
Linux 文件描述符和重定向 https://www.cnblogs.com/chenmh/p/5382044.html fcntl函数的用法总结 https://www.cnblogs.com/zxc2man/p/7649240.html 简述linux同步与异步、阻塞与非阻塞概念以及五种IO模型 https://www.cnblogs.com/chaser24/p/6112071....
7-文件IO-阻塞与非阻塞IO
进击的小学生
09-25 5937
1. 阻塞 IO 通常来说，从普通文件读数据，无论你是采用 fscanf，fgets 也好，read 也好，一定会在有限的时间内返回。但是如果你从设备，比如终端（标准输入设备）读数据，只要没有遇到换行符(‘\n’)，read 一定会“堵”在那而不返回。还有比如从网络读数据，如果网络一直没有数据到来，read 函数也会一直堵在那而不返回。 read 的这种行为，称之为 block，一旦发生 bl...
文件描述符的阻塞与非阻塞设置
weixin_50134791的博客
02-25 1142
默认文件描述符是阻塞的，即文件IO是阻塞的 设置为非阻塞： int setNonBlock(int fd) { int flags = fcntl(fd, F_GETFL); if (flags == -1) { return flags; } flags |= O_NONBLOCK; int ret = fcntl(fd, F_SETFL, flags); return ret; } 从非阻塞还原到阻塞： int setBlock(int fd) { int ret = 0; i
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天糊土

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值