【多线程】python&&组合案例_&组合url python-CSDN博客

本文链接：https://blog.csdn.net/weixin_48321071/article/details/122807290

该博客讲述了如何利用Python的requests和lxml库解析网页源代码，获取图片URL，并通过多进程和队列实现图片下载。主要涉及网页解析、URL拼接、图片源获取及并发下载过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

查看网页源代码

在这里插入图片描述

"""
分析：
   进程1. 从主页面当中解析出详情页的url，从详情页中提取到图片的下载地址

   进程2. 把拿到的下载地址，进行下载


   队列：可以进行进程之间的通信
"""
from multiprocessing import Process,Queue  # 队列Queue
from concurrent.futures import ThreadPoolExecutor
import  requests
from lxml import etree
from urllib import parse  # 调用库函数拼接

def get_img_src(q):
    url = "http://www.591mm.com/mntt/6.html"
    resp = requests.get(url)
    resp.encoding='utf-8'
    tree = etree.HTML(resp.text)
    href_list = tree.xpath("//div[@class='MeinvTuPianBox']/ul/li/a[1]/@href")
    # print(resp.text) # 打印提示信息是否拿到页面源码
    for href in href_list:
        # 负责拼接url的
        href = parse.urljoin(url.href)
        # print(href) # 打印信息
        child_resp = requests.get(href)
        child_resp.encoding = 'utf-8'
        child_tree = etree.HTML(child_resp.text)
        src = child_tree.xpath("//div[@id='picBody']//img/@src")[0]
        # print(src) #打印一张照片信息
        # break
        q.put(src) # 向队列里装东西
        print(f"{src},被塞进队列")

    q.put("完事儿了")

def download(url):
    print("开始下载",url)
    name = url.split("/")[-1]
    with open("./img"+name,mode ="wb") as f:
        resp = requests.get(url)
        f.write(resp.content)
    print("下载完毕")


def download_img(q):
    with ThreadPoolExecutor(10) as t:
        while 1:
            src = q.get()  # 从队列中获取数据。 如果没有数据就会阻塞
            if src == "完事儿了":
                break
            t.submit(download,src)

if __name__ == '__main__':
    q =Queue()
    p1 = Process(target=get_img_src(),args=(q,))
    p2 = Process(target=download_img(),args=(q,))

    p1.start()
    p2.start()