python爬虫——高性能单线程 / 多线程 / 线程池 / 异步爬虫使用方法教学
1、使用目的
在爬虫中使用异步实现高性能的数据爬取操作。
2、实现方式
-
(1)多线程 / 多进程(不建议):
- 好处:可以为相关阻塞的操作单独开启线程或者进程,阻塞操作就可以异步执行。
- 弊端:无法无限制的开启多线程或者多进程。
-
(2)线程池 / 进程池:
- 好处:可以降低系统对进程或者线程创建和销毁的频率,从而可以很好的降低系统的开销。
- 弊端:池中线程或进程的数据有上线。
应用案例: python爬虫——基于线程池爬取页面视频数据
I 单线程
- event_loop:事件循环,相当于一个无限循环,可以将一些函数注册到这个事件循环上,当满足某些条件时,函数会被循环执行。
- coroutine:协程对象,可以将协程对象注册到事件循环中,它会被事件循环调用。可以使用async关键字来定义一个方法,这个方法在调用时不会立即被执行,而是返回一个协程对象。
- task:任务,它是对协程对象的进一步封装,包含了任务的各个状态。
- future:代表将来执行或还没有执行的任务,实际上和task没有本质区别。
- async:定义一个协程。
- await:用来挂起阻塞方法的执行。
代码
event_loop事件循环
import asyncio
import nest_asyncio
nest_asyncio.apply()
async def request(url):
print('requesting, ',url)
print('success, ',url)
# 绑定回调时需要加return
# return url
#async修饰的函数,调用之后返回的一个协程对象
c = request('www.baidu.com')
#创建一个事件循环对象
loop = asyncio.get_event_loop()
#将协程对象注册到loop中,然后启动loop
loop.run_until_complete(c)
task任务
#task的使用
loop = asyncio.get_event_loop()
#基于loop创建了一个task对象
task = loop.create_task(c)
print(task)
loop.run_until_complete(task)
print(task)
future将来执行任务≈task
#future的使用
loop = asyncio.get_event_loop()
task = asyncio.ensure_future(c)
print(task)
loop.run_until_complete(task)
print(task)
绑定回调
def callback_func(task):
#result返回的就是任务对象中封装的协程对象对应函数的返回值
print(task.result())
#绑定回调
loop = asyncio.get_event_loop()
task = asyncio.ensure_future(c)
#将回调函数绑定到任务对象中
task.add_done_callback(callback_func)
loop.run_until_complete(task)
注:出错解决方法:
解决This event loop is already running问题
II 异步协程
代码
import asyncio
import time
async def request(url):
print("Downloading ",url)
#在异步协程中如果出现了同步模块相关的代码,那么就无法实现异步
#time.sleep(2)
#当在asyncio中遇到阻塞操作必须进行手动挂起
await asyncio.sleep(2)
print("Download success ",url)
start = time.time()
urls = {
'www.baidu.com',
'www.sogou.com',
'www.goubanjia.com'
}
#任务列表:存放多个任务对象
stasks = []
for url in urls:
c = request(url)
task = asyncio.ensure_future(c)
stasks.append(task)
loop = asyncio.get_event_loop()
#需要将任务列表封装到wait中
loop.run_until_complete(asyncio.wait(stasks))
print(time.time()-start)
注:在异步协程中不能出现同步模块的代码,若出现则无法实现异步