python 使用多线程从url.txt中的url地址下载图片并保存

urls.txt文件中包含多个图像url地址(一行一个),使用多线程下载这些图像并按顺序保存为0.jpg、1.jpg、2jpg

from urllib3 import *
import threading

http = PoolManager()
disable_warnings()  # 禁用警告

f = open('demo.txt', 'r')
urllist = []
while True:
    url = f.readline()
    if url == '':
        break
    urllist.append(url.strip())
f.close()

#多线程类
class DownloadThread(threading.Thread):
    def __init__(self, func, args):
        super().__init__(target=func, args=args)

def download(filename, url):
    response = http.request('GET', url)
    f = open(filename,'wb')  # wb的b表示我们要写的文件是一个二进制的文件
    f.write(response.data)
    f.close()
    print('<',url,'>','下载完成。')

for i in range(len(urllist)):
    thread = DownloadThread(download, (str(i) + '.jpg', urllist[i]))
    thread.start()
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python,可以使用多线程下载URL图片,可以利用线程池来管理和调度多个线程的执行。 线程池是一种用于执行和管理线程的软件设计模式。它可以在需要时创建线程,并在完成任务后重新利用这些线程,以避免频繁地创建和销毁线程带来的开销。Python提供了ThreadPoolExecutor类来实现线程池功能。 使用线程池进行URL图片下载的步骤如下: 1. 导入必要的模块和类: ```python import urllib.request from concurrent.futures import ThreadPoolExecutor ``` 2. 创建一个名为download_image的函数,用于下载URL图片: ```python def download_image(url): urllib.request.urlretrieve(url, "image.jpg") ``` 3. 创建一个ThreadPoolExecutor对象,并设置线程池的大小,例如设置为5: ```python thread_pool = ThreadPoolExecutor(max_workers=5) ``` 4. 创建一个URL列表,包含要下载图片链接: ```python url_list = ["https://example.com/image1.jpg", "https://example.com/image2.jpg", "https://example.com/image3.jpg"] ``` 5. 使用线程池的map函数来调度下载任务,将下载函数和URL列表作为参数传入: ```python thread_pool.map(download_image, url_list) ``` 通过以上几个步骤,就可以利用线程池并发地下载URL图片。线程池的线程会自动并发执行下载任务,提高了下载效率。最终,下载图片保存在当前目录下的image.jpg文件。 需要注意的是,使用线程池下载图片时,由于网络带宽和URL的响应速度等因素限制,实际下载速度可能不会线性增加,但相比单线程下载多线程下载可以更好地利用CPU和网络资源,提高下载效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值