python如何用httpx实现异步爬虫加速采集

一般使用python写爬虫大部分用的是requests库，但是这个库只能同步，想要提高速度只能使用多线程的方式，但是当需要爬取的url数量增多的时候，使用python的requests库写爬虫会出现时间很长才能爬完一轮的情况，所以我们今天用httpx库的异步请求来加速爬取，单机爬虫实现分布式爬虫的速度。

PS：不建议爬少量网站的大量内页使用，最好是网站数量多的时候使用，这样可以避免频繁的请求被拉黑名单。

import asyncio
import httpx
import time

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}

async def get_content(link): #大量请求可能导致超时或者其他问题，可以在此处设置try避免报错停止
    async with httpx.AsyncClient(verify=False, timeout=30) as client: #设置了https不验证和超时时间为30秒
            res = await client.get(link, headers=headers) #固定协议头，可自行更换，不建议用httpx自带的协议头
            print(res.text) #后面可添加其他操作
			
links=['',''] #爬取的url列表


async def main():
    tasks = []
    # 设置link列表
    for i in links:
        tasks.append(asyncio.create_task(get_content(i)))

    await asyncio.wait(tasks)


if __name__ == '__main__':
    async_start = time.time()
	asyncio.run(main())
    async_end = time.time()
    print(async_end - async_start) #打印时间差

httpx其实也是支持同步的，除了不如requests设置编码格式方便意外，其他的和requests都是差不多的。