异步爬虫学习实战项目：水效标识网

大家好，我是南枫，今天一起来学习异步爬虫。

文章开始之前，我们先搞清楚为什么要学异步爬虫？我们之后在工作中会遇到爬大量数据，比如百万数据采集，用平常的方法爬取的效率会比较低，所以要学习异步爬虫，具体还有以下的几点原因：

上Ai人工智能：

该解释的都解释了，废话不多说，直接上代码：

我们还是用之前文章的网站——中国水校标识网，因为这个网站的数据有六万多条，比较多，效果也是比较好看出区别的。

老规矩，上代码：

• 我们所导入的两个模块，分别的作用是：a、用于异步发送HTTP请求；b、用于处理异步编程。

• 定义异步函数，接收参数page

• 构造请求的url，page是传入的参数

• 创建对应的对象，作用就是发送http请求

• 使用对应对象去发送get请求，并且要把响应的结果存储到result变量里

• 把响应结果转换为json格式

• 再便利result_list的list字段

• 创建一个空字典

• 可以打印一下，看下数据集是否便利出来

• 定义一个异步函数main

• 创建一个人物列表，里面包含了300个get_detail_data函数的调用，每个调用传入不同的page参数

• 等待所有任务完成

• 运行main函数

大家看完文章之后，一定要自己动手去练习一遍，要不然就完全数据“看”文章了，ok，这个异步爬虫项目，你学会了吗？