Python爬虫练习：汽车之家图片爬虫

最新推荐文章于 2025-04-12 17:51:18 发布

菜鸟上路_lbz

最新推荐文章于 2025-04-12 17:51:18 发布

阅读量1.6k

点赞数 2

分类专栏：爬虫文章标签： xpath python

本文链接：https://blog.csdn.net/qq_44198436/article/details/106271159

版权

爬虫专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一种使用Python和相关库抓取汽车图片的方法。通过分析网页结构，利用requests和lxml.etree获取指定汽车系列的所有图片链接，并将其下载到本地指定文件夹中。文章详细展示了如何初始化请求头，解析页面获取图片URL，以及如何将图片保存到硬盘。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from lxml import etree
import time,os
class carDownload:
    def __init__(self):
        self.header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}
    def getCarUrl(self,url):
        content=requests.get(url,headers=self.header).text
        dom=etree.HTML(content)
        urls=dom.xpath('//@href')
        page_urls=[url]
        for i in urls:
            if '/pic/series/614-1-p' in i:
                page_urls.append('https://car.autohome.com.cn/pic'+i)
        return list(set(page_urls))
    def getCarPicUrl(self,url):
        content=requests.get(url,headers=self.header).text
        dom=etree.HTML(content)
        urls=dom.xpath('//@href')
        page_urls=[]
        for i in urls:
            if '/photo/series/' in i:
                page_urls.append('https://car.autohome.com.cn/'+i)
        return list(set(page_urls))
    def getPic(self,name,url):
        content=requests.get(url,headers=self.header).text
        dom=etree.HTML(content)
        urls=dom.xpath('//*[@id="main"]/div[1]/img/@src')[0]
        with open(f'./{name}/'+str(time.time())+'.jpg','wb') as f:
            f.write(requests.get('https:'+urls).content)
            print("保存成功")
    def main(self,path,url):
        if not os.path.exists(path):
            os.mkdir(path)
        carPage=self.getCarUrl(url)
        for i in carPage:
            for n in self.getCarPicUrl(i):
                self.getPic(path,n)

car=carDownload()
car.main('君威','https://car.autohome.com.cn/pic/series/164-1-p1.html')

main(文件夹名称，汽车图片路径）
在这里插入图片描述