浅析io模型

两个名词解释:
阻塞和非阻塞。同步和异步

阻塞和非阻塞用来形容调用者线程当前的状态。
同步和异步   描述的是 消息通信模型。 等待返回结果,还是基于事件返回结果。

同步或者阻塞 io 会同步调用会导致请求进程的阻塞。
非阻塞或 异步io 不导致请求进程的阻塞。 这就是两者的关系。

几种io模型。
阻塞io 和 io多路复用都是阻塞式的io 但后者基于轮询socket。


对于一个套接字上的读操作:
分两个阶段:read阶段 网络--内核缓冲区  和copy阶段  内核缓冲区--应用程序缓冲区。
wait阶段 等待数据从网络中到达。当所有等待分组到达时,它被复制到内核中的某个缓冲区 。
copy阶段 就是把数据从内核缓冲区复制到应用程序缓冲区  


阻塞io:
阻塞io的做法read时,实际上是调用recvfrom来读取内核缓冲区的数据。
在等待阶段,如果内核缓冲区没有数据,那么线程或者进程就会被挂起。
直到内核读到了io设备的数据,才会唤醒当前线程,把数据拷贝到应用进程的缓冲区中。
如何唤醒 这个问题内核层面的事。

缺点是:在等待阶段,内核线程会处于一直等待状态。浪费线程资源。其实这里并不消耗太多cpu资源 因为该线程已经被挂起。

io多路复用:
即用一个线程来检查 所有文件描述符的就绪状态。也就是 调用select函数,轮询socket。进程在select处阻塞,
等待一个或者多个socket变成可读取状态,其实就是fd的就绪事件,说明内核缓冲区有数据了(也就是是否有数据读了) 。
然后在执行revfrom函数来执行读取操作。


关键:
在等待阶段是使用一个线程来轮询可用的文件描述符。所以不会有太多的阻塞线程同时存在,减少系统资源消耗。
在copy阶段,不可避免是会处于阻塞状态的,因为要拷贝数据到应用的缓冲区。

异步io:
完全基于事件的模型,在read阶段和copy阶段都是在内核中完成的,并在整个操作完成后通知用户。Window下有IOCP,linux下使用epoll模型模拟异步io。




epoll select的区别:


epoll select的学习需要结合c 来学。

epoll中的fd只用拷贝一次到内核空间。 并为fd注册回调函数。当读事件就绪时候,会把fd加入到就绪链表。
问题就在于, select是每次都要拷贝到内核空间,不断的遍历整个fd数组。 而epoll只用拷贝一次到内核,并遍历就绪链表。

从拷贝来说 只有一次。
从遍历的对象来说,范围小了很多。

至于还有一个概念就是current进程 也就是调用epoll或者select的进程。。
这是另一个细节的概念, 就是fd被拷贝到内核空间 以后会把当前进程链接进设备等待队列。这个队列链接的是进程。因为select时候往往就一个进程,所以这个细节就忽略了。

这个细节体现在epoll_wait函数的执行过程:

epoll_wait时,它会判断就绪链表中有没有就绪的fd,如果没有,则把current进程加入一个等待队列中,
并在一个while(1)循环中判断就绪队列是否为空,并结合schedule_timeout实现睡一会,判断一会的效果。
如果current进程在睡眠中,设备就绪了,就会调用回调函数。
在回调函数中,会把就绪的fd放入就绪链表,并唤醒等待队列中的current进程,这样epoll_wait又能继续执行下去了

简单来说就是 判断fd 没有就绪 就睡眠,如果就绪就回调,并唤醒该进程继续执行. 之后的过程就可以用线程池来处理读写。
把fd交给其他线程处理后。就继续判断就绪链表。















在使用Python来安装geopandas包时,由于geopandas依赖于几个其他的Python库(如GDAL, Fiona, Pyproj, Shapely等),因此安装过程可能需要一些额外的步骤。以下是一个基本的安装指南,适用于大多数用户: 使用pip安装 确保Python和pip已安装: 首先,确保你的计算机上已安装了Python和pip。pip是Python的包管理工具,用于安装和管理Python包。 安装依赖库: 由于geopandas依赖于GDAL, Fiona, Pyproj, Shapely等库,你可能需要先安装这些库。通常,你可以通过pip直接安装这些库,但有时候可能需要从其他源下载预编译的二进制包(wheel文件),特别是GDAL和Fiona,因为它们可能包含一些系统级的依赖。 bash pip install GDAL Fiona Pyproj Shapely 注意:在某些系统上,直接使用pip安装GDAL和Fiona可能会遇到问题,因为它们需要编译一些C/C++代码。如果遇到问题,你可以考虑使用conda(一个Python包、依赖和环境管理器)来安装这些库,或者从Unofficial Windows Binaries for Python Extension Packages这样的网站下载预编译的wheel文件。 安装geopandas: 在安装了所有依赖库之后,你可以使用pip来安装geopandas。 bash pip install geopandas 使用conda安装 如果你正在使用conda作为你的Python包管理器,那么安装geopandas和它的依赖可能会更简单一些。 创建一个新的conda环境(可选,但推荐): bash conda create -n geoenv python=3.x anaconda conda activate geoenv 其中3.x是你希望使用的Python版本。 安装geopandas: 使用conda-forge频道来安装geopandas,因为它提供了许多地理空间相关的包。 bash conda install -c conda-forge geopandas 这条命令会自动安装geopandas及其所有依赖。 注意事项 如果你在安装过程中遇到任何问题,比如编译错误或依赖问题,请检查你的Python版本和pip/conda的版本是否是最新的,或者尝试在不同的环境中安装。 某些库(如GDAL)可能需要额外的系统级依赖,如地理空间库(如PROJ和GEOS)。这些依赖可能需要单独安装,具体取决于你的操作系统。 如果你在Windows上遇到问题,并且pip安装失败,尝试从Unofficial Windows Binaries for Python Extension Packages网站下载相应的wheel文件,并使用pip进行安装。 脚本示例 虽然你的问题主要是关于如何安装geopandas,但如果你想要一个Python脚本来重命名文件夹下的文件,在原始名字前面加上字符串"geopandas",以下是一个简单的示例: python import os # 指定文件夹路径 folder_path = 'path/to/your/folder' # 遍历文件夹中的文件 for filename in os.listdir(folder_path): # 构造原始文件路径 old_file_path = os.path.join(folder_path, filename) # 构造新文件名 new_filename = 'geopandas_' + filename # 构造新文件路径 new_file_path = os.path.join(folder_path, new_filename) # 重命名文件 os.rename(old_file_path, new_file_path) print(f'Renamed "{filename}" to "{new_filename}"') 请确保将'path/to/your/folder'替换为你想要重命名文件的实际文件夹路径。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值