python多线程下载小姐姐图片

最新推荐文章于 2024-08-26 10:29:52 发布
置顶 最新推荐文章于 2024-08-26 10:29:52 发布
阅读量5.8k 收藏 24
点赞数 11
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43870646/article/details/105176726
版权

python多线程下载小姐姐图片

闲谈

今日闲来无事，翻看博客，看到一篇关于python自动下载图片的文章，就萌生了也写一个下载图片的爬虫程序。

对于绅士来说，就很棒！！！
在这里插入图片描述

我们的目标就是把这个网站的全部美女图片都下载下来，根据文件夹保存。

每个文件夹里面自然就是各个主题下的全部图片了。

下来咱们就来实现一下代码

思路

  1. 通过观察网页，知道网站一共有218页，通过for循环构建全部列表页。
  2. 通过列表页，获得所有列表页的url。
  3. 根据详情页的url获取页面的照片pic_url和选集title。
  4. 对pic_url发起请求，下载图片，根据选集的title，创建文件夹。
  5. 翻页实现选集下的每一张图片都下载完成。

实现过程

单线程实现代码功能

import requests
from lxml import etree
import os
from retrying import retry
import time
import random
import threading
from queue import Queue


class AiXjj():
    def __init__(self):
        self.USER_AGENTS = [
            # Opera
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60",
            "Opera/8.0 (Windows NT 5.1; U; en)",
            "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
            "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50",
            # Firefox
            "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
            "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
            # Safari
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
            # chrome
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
            "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
            # 360
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko",
            # 淘宝浏览器
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
            # 猎豹浏览器
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
            "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
            # QQ浏览器
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
            "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
            # sogou浏览器
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
            "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)",
            # maxthon浏览器
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36",
            # UC浏览器
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36",
        ]
        self.base_url = 'https://www.xxxx.com'

    # 实现一个方法，获取随机User-agent的请求头
    def get_request_headers(self):
        headers = {
            'User-Agent': random.choice(self.USER_AGENTS)
        }
        return headers

    # 根据url发起请求
    def get_page_from_url(self, url):
        """根据请求的url，发起请求"""
        try:
            headers = self.get_request_headers()
            response = requests.get(url, headers=headers, timeout=10)
            if response.status_code == 200:
                return response
            else:
                pass
        except Exception as e:
            print('请求超时', e)
            return False

    # 根据页面获取列表页的url
    def get_all_page_urls(self):
        """获取所有列表页的url"""
        maxpage = 2
        page_urls = [self.base_url + '/page/{}'.format(page) for page in range(1, maxpage)]
        return page_urls

    # 根据列表页url获取列表页的选集url
    def get_xuanji_url(self, page_url):

        page = self.get_page_from_url(page_url)
        if page == False:
            pass
        else:
            html = etree.HTML(page.text)
            codes = html.xpath('/html/body/div[2]/div[1]/ul/li/a/@href')
            urls = [self.base_url + code for code in codes]
            return urls

    # 根据选集url获取选集的照片url
    def get_pic_url(self, xuanji_url):

        response = self.get_page_from_url(xuanji_url)
        if response == False:
            pass
        else:
            html = etree.HTML(response.text)
            url = html.xpath('//*[@id="content"]/a/img/@src')[0]
            title = html.xpath('/html/body/div[2]/div[1]/h2/text()')[0]
            pic_url = 'https:' + url
            self.save_pic(title, pic_url)
            self.get_next_page_url(html)

    # 根据选集url判断是否有下一页
    def get_next_page_url(self, html):
        if html.xpath('//*[@id="page"]/a[last()]/text()')[0] == '下一页':
            code = html.xpath('//*[@id="page"]/a[last()]/@href')[0]
            self.get_pic_url(self.base_url + code)

    # 根据选集照片的url和选集titlt创建文件夹和保存文件
    def save_pic(self, title, pic_url):

        base_dir = 'D:\download1' + '\{}'.format(title)
        # 如果目录不存在，则新建
        if not os.path.exists(base_dir):
            os.makedirs(base_dir)
        # 获取图片
        response = self.get_page_from_url(pic_url)
        if response == False:
            pass
        else:
            # 写入图片
            with open(base_dir + '\\' + pic_url.split('/')[-1] + '.jpg', 'wb') as fp:
                fp.write(response.content)
            print(title, pic_url, '保存成功')

    @retry
    def run(self):
        all_page_urls = self.get_all_page_urls()
        for page_url in all_page_urls:
            urls = self.get_xuanji_url(page_url)
            for url in urls:
                self.get_pic_url(url)

if __name__ == '__main__':
    axjj = AiXjj()
    axjj.run()

在这里插入图片描述

问题描述

嘿嘿！这就成了，但是这个下载速度未免页太慢了，一共218页，每页15个选集，每隔选集中有20+的照片，这么一算都有65700张，每张照片下载如果需要1秒，那么全部下载下来需要18个小时！！！

在这里插入图片描述

害，我又不想用scrapy框架再写一遍，那就是多线程整整吧。

多线程处理办法

咱将所有选集的url放入队列中，将详情页请求到的html也放入队列，再将详情页解析出来的图片url也放入队列，再通过不同的函数调用，从队列中取出内容，多线程执行函数。

在这里插入图片描述
然后就是这样：

import requests
from lxml import etree
import os
import time
import random
import threading
from queue import Queue


class AiXjj():
    def __init__(self):
        self.USER_AGENTS = [
            # Opera
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60",
            "Opera/8.0 (Windows NT 5.1; U; en)",
            "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
            "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50",
            # Firefox
            "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
            "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
            # Safari
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
            # chrome
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36",
            "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
            "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
            # 360
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
            "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko",
            # 淘宝浏览器
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
            # 猎豹浏览器
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
            "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
            # QQ浏览器
            "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
            "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
            # sogou浏览器
            "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
            "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)",
            # maxthon浏览器
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36",
            # UC浏览器
            "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36",
        ]
        self.base_url = 'https://www.xxxx.com'
        self.page_urls = Queue()
        self.xuanji_urls = Queue()
        self.pic_title = Queue()
        self.count = 0

    # 实现一个方法，获取随机User-agent的请求头
    def get_request_headers(self):
        headers = {
            'User-Agent': random.choice(self.USER_AGENTS)
        }
        return headers

    # 根据url发起请求
    def get_page_from_url(self, url):
        """根据请求的url，发起请求"""
        try:
            headers = self.get_request_headers()
            response = requests.get(url, headers=headers, timeout=10)
            if response.status_code == 200:
                return response
            else:
                pass
        except Exception as e:
            print('请求超时', e)
            return False


    # 根据页面获取列表页的url
    def get_all_page_urls(self):
        """获取所有列表页的url"""
        maxpage = 21
        page_urls = [self.base_url + '/page/{}'.format(page) for page in range(11, maxpage)]
        for page_url in page_urls:
            self.page_urls.put(page_url)

    # 根据列表页url获取列表页的选集url
    def get_xuanji_url(self):
        while True:
            page_url = self.page_urls.get()
            page = self.get_page_from_url(page_url)
            if page == False:
                pass
            else:
                html = etree.HTML(page.text)
                codes = html.xpath('/html/body/div[2]/div[1]/ul/li/a/@href')
                urls = [self.base_url + code for code in codes]
                for url in urls:
                    self.xuanji_urls.put(url)
            self.page_urls.task_done()

    # 根据选集url获取选集的照片url
    def get_pic_url(self):
        while True:
            xuanji_url = self.xuanji_urls.get()
            response = self.get_page_from_url(xuanji_url)
            if response == False:
                pass
            else:
                html = etree.HTML(response.text)
                url = html.xpath('//*[@id="content"]/a/img/@src')[0]
                title = html.xpath('/html/body/div[2]/div[1]/h2/text()')[0]
                pic_url = 'https:' + url
                pic_title = (pic_url, title)
                self.pic_title.put(pic_title)
                self.get_next_page_url(html)
            self.xuanji_urls.task_done()

    # 根据选集url判断是否有下一页
    def get_next_page_url(self, html):
        if html.xpath('//*[@id="page"]/a[last()]/text()')[0] == '下一页':
            code = html.xpath('//*[@id="page"]/a[last()]/@href')[0]
            self.xuanji_urls.put(self.base_url + code)

    # 根据选集照片的url和选集titlt创建文件夹和保存文件
    def save_pic(self):
        while True:
            url, title = self.pic_title.get()
            base_dir = 'D:\download' + '\{}'.format(title)
            # 如果目录不存在，则新建
            if not os.path.exists(base_dir):
                os.makedirs(base_dir)
            # 获取图片内
            response = self.get_page_from_url(url)
            if response == False:
                pass
            else:
                # 写入图片
                with open(base_dir + '\\' + url.split('/')[-1] + '.jpg', 'wb') as fp:
                    fp.write(response.content)
                print(title, url, '保存成功')
            self.pic_title.task_done()

    def run(self):
        thread_list = []
        all_page_urls = threading.Thread(target=self.get_all_page_urls)
        thread_list.append(all_page_urls)
        for i in range(5):
            xuanji_url = threading.Thread(target=self.get_xuanji_url)
            thread_list.append(xuanji_url)
        for i in range(10):
            pic_url = threading.Thread(target=self.get_pic_url)
            thread_list.append(pic_url)
        for i in range(10):
            save_pic = threading.Thread(target=self.save_pic)
            thread_list.append(save_pic)
        for thread in thread_list:
            thread.setDaemon(True)  # 把子线程设置为守护线程，该线程不重要，主线程结束，子线程结束
            thread.start()

        for q in [self.page_urls, self.xuanji_urls, self.pic_title]:
            q.join()  # 让主线程等待堵塞，等待队列的任务完成之后再完成

        print('主线程结束')


if __name__ == '__main__':
    aixjj = AiXjj()
    aixjj.run()

完成效果

舒服多了
在这里插入图片描述

成都—大数据开发工程师—杨洋
关注
Python批量造数并利用pymysql写入到数据库之multiprocessing多进程、threading多线程实现方式（学习笔记）
m0_50281664的博客
02-28 1428
pymysql，multiprocessing，threading，Python的多进程多线程
面试官：请你讲讲Python多线程多进程
weixin_44516740的博客
11-16 1229
Python多线程多进程 文章目录 并行和并发的概念 线程和进程的概念（来点八股文） PythonGIL锁相关以及历史 多线程编程详解 多进程编程详解（重点） 一、什么是并行和并发? 首先我们来先说一下一个简单的共同点，并行和并发都是完成多任务更加有效率的工具。我们下面用一张图来说明它们的不同点 并发：是指应用能够交替执行不同的任务，其实并发有带你类似于多线程的原理，多线程并非同事执行多个任务，如果你开多个线程执行，就是在你几乎不可察觉的速度不断的去切换这几个线程，以达到“同时执行的效果”
python实现多线程下载大量图片的代码
09-12
python实现多线程下载大量图片的代码，代码中加入了代理ip，加入了随机head，这两项内容可以防止客户机ip被屏蔽，从目前测试的结果来看，代码的使用效果非常好，对于有需要的小伙伴可以下载使用。同理该代码可以用于下载其他文件使用，迅雷批量下载数量有限，可以用该代码解决对应问题。
python多线程下载图片_Python 入门爬取图片2.0 多进程+多线程
weixin_39620662的博客
12-05 225
#!/usr/bin/python# coding:utf-8# 多进程爬虫import requestsimport reimport timeimport multiprocessingimport threading# 图片保存路径SAVE_PATH = "./threa_imgs/"# 解析jpg图片url的正则jpgReg = re.compile(r'# 根据url获取网页html内容...
使用 Python 和 PyQt5 构建多线程图片下载器
最新发布
m0_59328104的博客
08-26 810
这个项目的核心功能是通过并发的方式快速下载大量图片。用户可以通过一个图形界面（GUI）选择下载条件（如图片类别、纯度、页数等），然后程序会自动从指定的网页抓取图片并下载到本地。通过这个项目，我们可以看到 Python 在处理多线程任务以及构建 GUI 应用程序方面的强大能力。多线程的使用显著提高了任务处理的效率，而 PyQt5 则提供了一个用户友好的图形界面，使得复杂的操作变得简单直观。对于需要批量处理大量数据或文件下载的场景，这种多线程与 GUI 的组合无疑是非常有效的解决方案。
python 多线程下载图片_python多线程批量下载远程图片
weixin_39898854的博客
12-05 110
#!/usr/bin/python3#-*- coding: utf-8 -*-#author:zhouchao#mysql 驱动模型类importpymysql;importtraceback;classmysqlDriver:host="localhost";user="root";password="";database="fitcmoe_boke";charset="GBK";db= "f...
python爬虫--自动下载cosplay小姐姐图片(xpath使用自定义创建文件路径)
lovely__RR的博客
08-13 1324
养成习惯，先赞后看！！ 目录1.xpath使用2.遇到的 bug以及解决措施2.1bug2.2最终的解决方案3.效果展示4. 源码 1.xpath使用 使用之前，传统艺能就是先导入该模块parsel。 之前我们匹配我们想要的内容比如链接，文字这些内容我们是不是都是通过正则表达式来爬取的 不知道大家看完之后是不是觉得正则表达式好难，不知道你们怎么觉得，反正博主自己觉得好难。 于是博主就发现了一个新的模块xpath，自己用完之后发现，卧槽！！！！！！这样爬虫也太简单了吧 其实大家根据xpath这个名字...
【Python爬虫】使用requests包多线程下载网页图片
qq_44753772的博客
04-11 368
使用requests包获取respons请求对象，通过接口获取json字符串，对字符串处理后得到图片url，再使用多线程下载。
Python爬取小姐姐图片.zip
01-07
本教程通过"Python爬取小姐姐图片.zip"这个实例，将深入探讨如何利用Python进行网页图片的抓取。 首先，我们需要了解Python中的几个关键库。BeautifulSoup是用于解析HTML和XML文档的库，它能够帮助我们找到并提取...
Python多线程下载图片
云淡风轻ing的博客
09-06 7544
文章目录导包模拟浏览器登录参数一：单线程爬取1.生成网页列表2.爬取图片的网址3.下载图片到本地二：多线程下载图片0.加锁1.获取图片网址2.下载图片3.函数调用4.问题完整代码 导包 import re import os import urllib.request import threading 模拟浏览器登录参数 headers ={ "Referer": "https://w...
python 多线程下载图片
Win_Man的专栏
02-08 4069
接上一篇，因为图片量太大，所以试着用多线程来下载图片不知道会不会快一点，我将每个收藏夹内的所有图片的url放在url_list的列表中，然后将列表中的url分成100份，分配给100个线程同时下载，用切片来分割列表 尝试多线程的时候，发现线程数量不能过多，线程数量过多，程序会报内存错误兴趣是第一生产力#-*-coding:utf-8-*- import sys import os import S
python 多线程下载图片_Python多线程threading—图片下载
weixin_39624071的博客
12-05 284
上一篇，写了一个爬壁纸图片的小爬虫：Python爬虫入门—图片下载下载效果太慢了，于是乎想到了用多线程改造一下，看看速度能提高多少！虽然说，由于GIL锁(Global Interpreter Lock)的存在，Python的多线程不是真正意义上的多线程，一个时间段内，一个CPU只能执行一个线程。但是在爬虫相关的程序上，经常出现IO密集型任务多CPU密集型任务少的情况，大多数时间都在等get、pos...
python 多线程下载图片_python多线程下载图片
weixin_39736547的博客
12-05 120
python多线程下载图片功能：从p_w_picpath.baidu.com自动翻页下载图片的python程序用法：运行程序后，输入关键字即可#!/usr/bin/python# filename: getbaidupic.py# description: get p_w_picpaths from p_w_picpath.baidu.com# author: cjcse# version: v ...
python多线程下载图片实例
专注于Python编程技术的分享与交流，致力于帮助开发者提升编程技能，解决实际问题，探索Python的无限可能。
01-06 1074
requests 是 Python 中一个流行的 HTTP 库，它可以方便地发送 HTTP 请求和处理响应。使用 requests，我们可以轻松地发送 GET、POST、PUT、DELETE 等类型的请求，并处理响应的数据。Python 中的线程是轻量级的，具有低开销，这是因为它们共享了同一个进程的内存空间。在 Python 中，threading 模块提供了对多线程编程的支持，它允许在单个程序中同时运行多个线程，从而实现并发执行。在 Python 中，你可以使用多线程来下载图片，来加快图片的下载速度。
python之多线程下载图片
qq_44850592的博客
04-10 200
Python随笔 将txt文件里的图片链接分10个线程下载下来 # encoding=utf-8 import threading import urllib import os wrongUrl = [] # 错误的图片链接 rightUrl = [] # 正确的图片链接 successUrl = [] # 加载成功的图片链接 failUrl = [] # 加载失败的图片链接 done_num = 0 # 分配url的数目 def loadPicture(p_loc
Python多线程图片下载
weiba123456的博客
03-02 151
import _thread import http.client import os import re import socket import time import urllib.request import urllib.error from time import sleep def current_time(): return time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) def download_img(path, thread_d
为什么有人说 Python 的多线程是鸡肋？不是真正意义上的多线程？
11-11 237
欢迎各位小哥哥小姐姐阅读本<python教程入门学习>的文章,对大家学习有帮助,请点赞加关注哦!!! 您的点赞和关注将是我持续更新的动力呢.v 有不懂的问题可以私聊我哦! 问题： 1、Python 多线程为什么耗时更长？ 2、为什么在 Python 里面推荐使用多进程而不是多线程？ 1.1创建多线程 Python提供两个模块进行多线程的操作，分别是thread和threading， 前者是比较低级的模块，用于更底层的操作，一般应用级别的开发不常用。 方法1：直接使用threading.Th
Python 多线程下载图片
weixin_44500833的博客
06-23 481
多线程下载图片 参考连接： Python标准库—urllib和urllib3 urllib实战2–urllib基础urlretrieve()、urlcleanup()、info()、getcode()、geturl()的应用 展示 Python 多线程下载图片~ python简单爬虫练习，python版本3.7，全部用标准库实现，线程池使用concurrend的ThreadPool
python多线程下载图片
weixin_50668398的博客
06-07 462
python多线程下载图片一、pandas是什么？二、使用步骤1.引入库2.读入数据,生成jpg文件总结 一、pandas是什么？ pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import pandas as pd import requests import os import concurrent.futures from loguru import logger 2.读入数据,生成jpg文件 代码如下： def
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

成都—大数据开发工程师—杨洋

你的打赏是我创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值