多线程处理下载任务

最新推荐文章于 2023-06-26 15:29:14 发布

缦旋律

最新推荐文章于 2023-06-26 15:29:14 发布

阅读量621

点赞数

分类专栏： spider 文章标签： python

小陈一行一行地敲出来的啦~

本文链接：https://blog.csdn.net/weixin_41391619/article/details/123905935

版权

本文介绍了如何使用Python的多线程处理下载任务，通过对比单线程，展示了多线程在处理多个页面蔬菜信息时的高效性，耗时仅为1.68秒，而单线程则耗时7.07秒。

摘要由CSDN通过智能技术生成

文章目录

1.任务要求
2.代码实现
- 2.1 多线程
- 2.2 单线程（对比）

1.任务要求

        获取北京新发地市场多的页面蔬菜的信息：（下图为一个页面）
在这里插入图片描述
        通过查看网页源代码，发现这些数据并不在网页源代码中，因此通过抓包工具寻找这些信息：

        找到相应的url：

        通过对比发现，不同的页面对应的url是一样的，改变的只有form data中的current，因此只需要修改对应的current数据即可获得多个页面的蔬菜信息：
在这里插入图片描述
        若将每一个页面的信息提取看作一个任务，那么我们这里考虑使用多线程（可以将之看为多个工人）来处理这些任务。相比于一个任务完成再开始下一个任务的这一单线程处理方式，多线程往往具有更高的效率。

2.代码实现

2.1 多线程

import requests,csv,json,time
from concurrent.futures import ThreadPoolExecutor

f = open('veg_info.csv',mode='w',newline='')
csvwirter = csv.writer(f)

url = 'http://www.xinfadi.com.cn/getPriceData.html'
def single_page(current