同步阻塞、同步非阻塞、多路复用、select+事件循环+回调

最新推荐文章于 2021-12-15 15:08:42 发布
最新推荐文章于 2021-12-15 15:08:42 发布
阅读量152 收藏
点赞数
分类专栏： python 文章标签： python 同步阻塞 异步阻塞 多路复用 select+事件循环+回调
原文链接：https://blog.csdn.net/qq_38065133/article/details/82828483
版权
一、使用同步阻塞io完成http请求
import socket
from urllib.parse import urlparse


def get_url(url):
	# 通过socket请求html
	url = urlparse(url)
	host = url.netloc
	path = url.path
	if path == "":
		path = "/"
	
	# 建立socket连接
	client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
	client.connect((host, 80))
	
	client.send("GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n".format(path, host).encode("utf8"))
	
	data = b""
	while True:
		d = client.recv(1024)
		if d:
			data +=d
		else:
			break
	
	data = data.decode("utf8")
	print(data)
	client.close()

if __name__ == "__main__":
	get_url("http://www.baidu.com")
二、使用同步非阻塞式io完成http请求
import socket
from urllib.parse import urlparse


def get_url(url):
    # 通过socket请求html
    url = urlparse(url)
    host = url.netloc
    path = url.path
    if path == "":
        path = "/"

    # 建立socket连接
    client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    client.setblocking(False)
    try:
        client.connect((host, 80))
    except BlockingIOError as e:
        pass

    while True:
        try:
            client.send("GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n".format(path, host).encode("utf8"))
            break
        except OSError as e:
            pass

    data = b""
    while True:
        try:
            d = client.recv(1024)
        except BlockingIOError as e:
            continue
        if d:
            data += d
        else:
            break

    data = data.decode("utf8")
    print(data)
    client.close()


if __name__ == "__main__":
    get_url("http://www.baidu.com")
三、使用多路复用io完成http请求
import socket
from urllib.parse import urlparse
from selectors import DefaultSelector, EVENT_READ, EVENT_WRITE

selector = DefaultSelector()


# 使用select完成http请求
class Fetcher:
    def connected(self, key):
        # 注销事件
        selector.unregister(key.fd)
        self.client.send(
            "GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n".format(self.path, self.host).encode('utf-8'))
        selector.register(self.client.fileno(), EVENT_READ, self.readable)

    def readable(self, key):
        d = self.client.recv(1024)
        if d:
            self.data += d
        else:
            # 注销
            selector.unregister(key.fd)
            self.data = self.data.decode('utf-8')
            html_data = self.data.split('\r\n\r\n')[1]
            #print(self.data)
            print(html_data)
            self.client.close()


    def get_url(self, url):
        # 通过socket请求html
        url = urlparse(url)
        self.host = url.netloc
        self.path = url.path
        self.data = b""
        if self.path == '':
            self.path = '/'

        # 建立连接
        self.client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        self.client.setblocking(False)

        try:
            self.client.connect((self.host, 80))
        except BlockingIOError as e:
            pass

        # 注册事件
        selector.register(self.client.fileno(), EVENT_WRITE, self.connected)
        """
        register(fileobj, events, data=None)
        fileobj：文件描述符
        events：监听事件
        data：回调函数

        """


def loop():
    # 事件循环，不停的请求socket的状态并调用对应的回调函数
    # 1.select本身是不支持register模式。
    # 2.socket状态变化以后的回调是由程序员完成的。

    while True:
        # 在windows上，监听的文件对象列表不可以为空；
        # 因此windows上会报错需要用stop进行处理，但是linux下不会报错
        try:
            events = selector.select()  # 默认是阻塞，有活动连接就返回活动的连接列表
        except OSError as e:
            break
        for key, mask in events:
            call_back = key.data
            call_back(key)


 if __name__ == "__main__":
     fetcher = Fetcher()
     fetcher.get_url("http://www.baidu.com")
     loop()
四、多路复用io与同步阻塞io性能对比
  1. 使用同步阻塞获取20个html页面
import socket
from urllib.parse import urlparse


def get_url(url):
    # 通过socket请求html
    url = urlparse(url)
    host = url.netloc
    path = url.path
    if path == "":
        path = "/"

    # 建立socket连接
    client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    client.connect((host, 80))

    client.send("GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n".format(path, host).encode("utf8"))

    data = b""
    while True:
        d = client.recv(1024)
        if d:
            data += d
        else:
            break

    data = data.decode("utf8")
    # print(data)
    print("html获取成功")
    client.close()


if __name__ == "__main__":
    get_url("http://www.baidu.com")
    import time
    start_time = time.time()
    for url in range(20):
        url = "http://shop.projectsedu.com/goods/{}/".format(url)
        get_url(url)
    print("last in {}".format(time.time() - start_time))


"""
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
html获取成功
last in 18.078646898269653

Process finished with exit code 0
"""
  1. 使用多路复用io获取20个html页面
# 通过非阻塞io实现http请求
import socket
from urllib.parse import urlparse
from selectors import DefaultSelector, EVENT_READ, EVENT_WRITE

selector = DefaultSelector()


# 使用select完成http请求
class Fetcher:
    def connected(self, key):
        # 注销事件
        selector.unregister(key.fd)
        self.client.send(
            "GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n".format(self.path, self.host).encode('utf-8'))
        selector.register(self.client.fileno(), EVENT_READ, self.readable)

    def readable(self, key):
        d = self.client.recv(1024)
        if d:
            self.data += d
        else:
            # 注销
            selector.unregister(key.fd)
            self.data = self.data.decode('utf-8')
            html_data = self.data.split('\r\n\r\n')[1]
            # print(self.data)
            # print(html_data)
            print("获取成功")
            self.client.close()


    def get_url(self, url):
        # 通过socket请求html
        url = urlparse(url)
        self.host = url.netloc
        self.path = url.path
        self.data = b""
        if self.path == '':
            self.path = '/'

        # 建立连接
        self.client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        self.client.setblocking(False)

        try:
            self.client.connect((self.host, 80))
        except BlockingIOError as e:
            pass

        # 注册事件
        selector.register(self.client.fileno(), EVENT_WRITE, self.connected)
        """
        register(fileobj, events, data=None)
        fileobj：文件描述符
        events：监听事件
        data：回调函数

        """


def loop():
    # 事件循环，不停的请求socket的状态并调用对应的回调函数
    # 1.select本身是不支持register模式。
    # 2.socket状态变化以后的回调是由程序员完成的。

    while True:
        # 在windows上，监听的文件对象列表不可以为空；
        # 因此windows上会报错需要用stop进行处理，但是linux下不会报错
        try:
            events = selector.select()  # 默认是阻塞，有活动连接就返回活动的连接列表
        except OSError as e:
            break
        for key, mask in events:
            call_back = key.data
            call_back(key)


if __name__ == '__main__':
    import time
    start_time = time.time()
    for url in range(20):
        url = "http://shop.projectsedu.com/goods/{}/".format(url)
        fetcher = Fetcher()
        fetcher.get_url(url)
    loop()
    print("last in {}".format(time.time() - start_time))


"""
运行结果：
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
获取成功
last in 2.192136287689209

Process finished with exit code 0
"""

 
[参考视频]https://www.bilibili.com/video/av64192449/?p=76
[参考博客]https://www.cnblogs.com/zydeboke/p/11328584.html
     https://www.cnblogs.com/zzzlw/p/9384308.html#top

Chasing__Dreams
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
阻塞、非阻塞、异步、同步以及select/poll和epoll
李春喜的专栏
12-18 1万+
针对IO，总是涉及到阻塞、非阻塞、异步、同步以及select/poll和epoll的一些描述，那么这些东西到底是什么，有什么差异？ 一般来讲一个IO分为两个阶段： 等待数据到达把数据从内核空间拷贝到用户空间 现在假设一个进程/线程A，试图进行一次IO操作。 A发出IO请求，两种情况：   1）立即返回   2）由于数据未准备好，需要等待，让出CPU给别的线程，自己s
select事件有哪些_可能是全网最全的select讲解
weixin_35076990的博客
01-19 5679
用途相比与普通的阻塞IO模型select相当于是一名监管员把多个要处理的文件描述符纳入自己的监管在设定的时间内阻塞查询 看哪些套接字是就绪的如果是就绪的则对这些套接字进行IO处理用法看一下下面这段简单的代码实现的功能就是把标准输入(即文件描述符为0)那入select的监管然后select在5s内阻塞的轮询看是否有读就绪事件如果有的话就返回 然后对其进行处理如果超时或者出错的或也返回#in...
select、poll、epoll、同步、异步、阻塞、非阻塞总结
void
02-28 4295
IO多路复用之select、poll、epoll综述 目前支持I/O多路复用的系统调用有 select，pselect，poll，epoll，I/O多路复用就是通过一种机制，一个进程可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，pselect，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写...
python回调+io多路复用+事件循环+协程,学会了又将提高一个档次
大白说
12-23 2089
回调、io多路复用、事件循环和协程是Python中常见的网络编程和异步编程技术，它们可以提高程序的效率和性能。
一个小时理解同步异步、阻塞非阻塞、IO多路复用、select、poll、epoll等概念
张昆
08-01 2443
一、同步、异步、阻塞与非阻塞 1.同步与异步 1.1 同步与异步概念 同步和异步的概念与消息的通知机制有关。同步与异步主要是从消息通知机制角度来说的。 同步就是一个任务的完成需要依赖另外一个任务时，只有等待被依赖的任务完成后，依赖的任务才能算完成，这是一种可靠的任务序列。要么成功都成功，失败都失败，两个任务的状态可以保持一致。 异步是不需要等待被依赖的任务完成，只是通知被依赖的任务要完成什么工作...
2-2、非阻塞套接字与IO多路复用 学习PPT
06-11
非阻塞套接字与IO多路复用 学习PPT
异步 同步 阻塞 非阻塞 的说明_异步同步阻塞非阻塞_
09-28
异步、同步、阻塞、非阻塞的说明和解释，用于深入理解。
IO中同步、异步与阻塞、非阻塞的区别
07-22
本文主要讲了IO中同步、异步与阻塞、非阻塞的区别。希望对你的学习有所帮助。
node.js回调函数之阻塞调用与非阻塞调用
10-23
本文重点给大家介绍node.js回调函数之阻塞调用和非阻塞调用，涉及到node.js回调函数的相关知识，对本文感兴趣的朋友一起学习吧
简述JAVA同步、异步、阻塞和非阻塞之间的区别
08-18
主要介绍了JAVA同步、异步、阻塞和非阻塞之间的区别，文中讲解非常细致，帮助大家更好的理解和学习，感兴趣的朋友可以了解下
多路分离函数select
qq_40813329的博客
11-17 176
内核提供的多路分离函数select()是建立IO多路复用模型的基础 select()可以避免同步非阻塞模型中的轮询等待的问题。在这种模式下，我们先将需要进行IO操作的socket加入到select中，然后便阻塞等待select()系统调用返回。有数据到达时，socket便被激活，select函数返回，此时用户线程发起read请求，读取数据便继续执行。 select虽然在流程上与同步阻塞IO相同，并且还要监视socket。但select最大的优势在于用户可以在一个线程内处理多个socket的IO请求。可以注册
select与阻塞/非阻塞IO（深入理解select函数）
modi000的博客
06-16 3208
转载from：https://blog.csdn.net/yxtxiaotian/article/details/84062446 目录 1、引言(select应用场景) 2、select意义 3、select 说明 4、 select使用例子 5、浅谈select阻塞机制 1、引言(select应用场景) 很多人把【阻塞/非阻塞socket】和select联系在一起，需要指明select函数与【阻塞/非阻塞socket】没有半毛钱的关系。select函数本身是阻塞的（与socket是否阻塞并
NIO编程（同步阻塞与同步非阻塞详解）
热门推荐
yswKnight的博客
02-22 1万+
NIO同步阻塞与同步非阻塞 BIO与NIO IO为同步阻塞形式,NIO为同步非阻塞形式,NIO并没有实现异步,在JDK1.7后升级NIO库包，支持异步非阻塞 同学模型NIO2.0(AIO) BIO（同步阻塞式IO） 同步阻塞式IO，服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个连接不做任何事情会造成不必要的线程开销，当...
NIO（一）——阻塞/非阻塞/同步/异步/NIO/select/epoll基本概念
nyyjs的专栏
07-27 2250
这个系列是我对NIO的个人理解，某些概念难免会与有理解上的偏差，希望各路大神能给在下指点出来，感激不尽！IO一般指的是内核与外部进行数据交互的所发生的事情。典型分为网络IO（socket），磁盘IO（文件），管道IO（pipe）等几类。我们将主要介绍网络IO这一部分。 一， 阻塞/非阻塞/同步/异步 谈及网络IO，都会谈到阻塞，非阻塞，同步，异步这几个概念。我们先从IO的过程讲起。 IO主要
select + 回调 + 事件循环
weixin_33898876的博客
04-24 406
#1. epoll并不代表一定比select好 # 在并发高的情况下，连接活跃度不是很高， epoll比select # 并发性不高，同时连接很活跃， select比epoll好 #通过非阻塞io实现http请求 # select + 回调 + 事件循环 # 并发性高 # 使用单线程 import socket from urllib.parse import url...
select与阻塞和非阻塞
modi000的博客
12-15 971
select与阻塞和非阻塞 这2天一直和同事在讨论socket的非阻塞用在什么场合，并且认为在select时，使用的socket要设置成阻塞的，今天在网上搜了一下，才发现，原来，我们搞错了，一个套接字阻塞或者不阻塞，select就在那里，它可以针对这2种套接字使用，对任何一种套接字的轮询检测，超时时间都是有效的，区别就在于： 当select完毕，认为该套接字可读时， 1 .阻塞的套接字，会让read阻塞，直到读到所需要的所有字节； 2 .非阻塞的套接字，会让read读完fd中的数据后就返回，但如果原
IO多路复用
兰枫
06-23 6281
IO多路复用 同步IO、异步IO、IO多路复用 IO两个阶段 IO过程分两阶段： 数据准备阶段。从设备读取数据到内核空间的缓冲区 内核空间复制回用户空间进程缓冲区阶段 发生IO的时候： 内核从IO设备读数据(例如：淘米，把米放在饭锅里煮饭) 进程从内核复制数据(盛饭，从内核这个饭锅里把饭装到碗里来) 系统调用----read函数 IO模型 同步IO模型包括阻塞IO、非阻塞IO、IO...
事件驱动----IO多路复用
一个有深度的博客
12-02 752
1、事件驱动 一种编程范式，程序的执行流由外部事件来决定。它的一个特点是包含一个事件循环，当外部事件发生时使用回调机制来触发相应的处理。 2、IO多路复用 (1)用户空间与内核空间： 供操作系统使用的是内核空间，供用户使用的是用户空间。 假设一个操作系统4G内存，用户态占3G，操作系统1G。当运作起来时，会通过一个指令集来判断是什么状态的命令，在内核态时，操作系统是可以直接操纵4G内存并...
高性能IO模型浅析
weixin_34331102的博客
11-14 1254
高性能IO模型浅析 服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种：（1）同步阻塞IO（Blocking IO）：即传统的IO模型。（2）同步非阻塞IO（Non-blocking IO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO（New IO）库。（3）IO多路复用（IO Multiplexing...
linux下的io多路复用
最新发布
04-08
通过使用IO多路复用，可以避免使用阻塞IO或者多线程/多进程的方式来处理并发IO操作，提高系统的性能和资源利用率。 Linux下常用的IO多路复用机制有以下三种： 1. select：select函数是最早引入的IO多路复用机制，它...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值