9. python爬虫——高性能单线程 / 多线程 / 线程池 / 异步爬虫使用方法教学

1、使用目的

在爬虫中使用异步实现高性能的数据爬取操作。

2、实现方式

• （1）多线程 / 多进程（不建议）：

  • 好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行。
  • 弊端：无法无限制的开启多线程或者多进程。

• （2）线程池 / 进程池：

  • 好处：可以降低系统对进程或者线程创建和销毁的频率，从而可以很好的降低系统的开销。
  • 弊端：池中线程或进程的数据有上线。

应用案例： python爬虫——基于线程池爬取页面视频数据

• （3）单线程+异步协程（推荐）：

  进程和线程、协程的区别

  对python async与await的理解

I 单线程

• event_loop：事件循环，相当于一个无限循环，可以将一些函数注册到这个事件循环上，当满足某些条件时，函数会被循环执行。
• coroutine：协程对象，可以将协程对象注册到事件循环中，它会被事件循环调用。可以使用async关键字来定义一个方法，这个方法在调用时不会立即被执行，而是返回一个协程对象。
• task：任务，它是对协程对象的进一步封装，包含了任务的各个状态。
• future：代表将来执行或还没有执行的任务，实际上和task没有本质区别。
• async：定义一个协程。
• await：用来挂起阻塞方法的执行。

---

代码

event_loop事件循环

import asyncio
import nest_asyncio

nest_asyncio.apply()


async def request(url):
    print('requesting, ',url)
    print('success, ',url)
# 绑定回调时需要加return    
#    return url
    
#async修饰的函数，调用之后返回的一个协程对象
c = request('www.baidu.com')
#创建一个事件循环对象
loop = asyncio.get_event_loop()
#将协程对象注册到loop中，然后启动loop
loop.run_until_complete(c)

task任务

#task的使用
loop = asyncio.get_event_loop()
#基于loop创建了一个task对象
task = loop.create_task(c)
print(task)
loop.run_until_complete(task)
print(task)

future将来执行任务≈task

#future的使用
loop = asyncio.get_event_loop()
task = asyncio.ensure_future(c)
print(task)
loop.run_until_complete(task)
print(task)

绑定回调

def callback_func(task):
    #result返回的就是任务对象中封装的协程对象对应函数的返回值
    print(task.result())


#绑定回调
loop = asyncio.get_event_loop()
task = asyncio.ensure_future(c)
#将回调函数绑定到任务对象中
task.add_done_callback(callback_func)
loop.run_until_complete(task)

注：出错解决方法：
解决This event loop is already running问题

II 异步协程

代码

import asyncio
import time

async def request(url):
    print("Downloading ",url)
    #在异步协程中如果出现了同步模块相关的代码，那么就无法实现异步
    #time.sleep(2)
    #当在asyncio中遇到阻塞操作必须进行手动挂起
    await asyncio.sleep(2)
    print("Download success ",url)

start = time.time()
urls = {
        'www.baidu.com',
        'www.sogou.com',
        'www.goubanjia.com'
}

#任务列表：存放多个任务对象
stasks = []
for url in urls:
    c = request(url)
    task = asyncio.ensure_future(c)
    stasks.append(task)

loop = asyncio.get_event_loop()
#需要将任务列表封装到wait中
loop.run_until_complete(asyncio.wait(stasks))

print(time.time()-start) 

注：在异步协程中不能出现同步模块的代码，若出现则无法实现异步