用Python爬取百度图片：手把手教你写一个图片爬虫

于 2025-08-14 18:36:10 发布
阅读量1.8k 收藏 17
点赞数 22
CC 4.0 BY-SA版权
分类专栏： 面试 学习路线 阿里巴巴 文章标签： python 百度 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42184486/article/details/150397555

前言

最近想收集一些特定主题的图片素材，手动一张张下载实在太费时间了。作为一个懒人程序员，我决定写个爬虫来自动完成这个任务。今天就跟大家分享这个实用的百度图片爬虫，它能自动搜索并下载你想要的任何图片。

在这里插入图片描述
在这里插入图片描述

这个爬虫虽然只有100多行代码，但包含了请求处理、JSON解析、文件操作等实用技巧。我会详细解释每个部分的实现思路，让你不仅能使用这个爬虫，还能真正理解它的工作原理。

爬虫整体设计

我们先来看看这个爬虫的总体结构：

class BaiduImageSpider(object):
    def __init__(self):
        # 初始化代码
    
    def create_directory(self, name):
        # 创建保存图片的文件夹
    
    def get_image_link(self, url):
        # 获取图片链接
    
    def save_image(self, img_link, filename):
        # 下载并保存图片
    
    def run(self):
        # 主运行逻辑

这个类包含了爬虫的所有功能，结构清晰，每个方法负责一个具体的任务。接下来我会详细讲解每个部分的实现。

初始化设置

def __init__(self):
    self.json_count = 0
    self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&queryWord={}&word={}&pn={}&rn=30'
    self.directory = r"C:价值一个亿python-mini-projectsprojectsaidutupian{}"
    self.header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
        'Accept-Language': 'en-US,en;q=0.5',
        'Referer': 'https://image.baidu.com'
    }
    self.image_counter = 0  # 新增全局图片计数器

初始化方法中，我们设置了几个重要的变量：

  1. json_count：控制要下载多少组图片（每组30张）
  2. url：百度图片的API接口地址，使用格式化字符串方便后续替换关键词
  3. directory：图片保存路径，使用{}作为占位符方便后续替换
  4. header：请求头，模拟浏览器访问，避免被反爬
  5. image_counter：图片计数器，用于生成唯一的文件名

创建保存目录

def create_directory(self, name):
    self.directory = self.directory.format(name)
    os.makedirs(self.directory, exist_ok=True)
    self.directory += r'{}'

这个方法负责创建保存图片的文件夹：

  1. 使用format方法将搜索关键词插入到路径中
  2. os.makedirs创建目录，exist_ok=True表示如果目录已存在也不报错
  3. 最后在路径后添加{}，方便后续格式化文件名

获取图片链接

def get_image_link(self, url):
    try:
        response = requests.get(
            url,
            headers=self.header,
            proxies={"http": None, "https": None},
            timeout=10
        )
        response.raise_for_status()
        return [item['thumbURL'] for item in response.json().get('data', []) if 'thumbURL' in item]
    except Exception as e:
        print(f"获取图片链接失败: {e}")
        return []

这是爬虫的核心方法之一，负责从百度API获取图片链接：

  1. 使用requests.get发送HTTP请求
  2. 设置了请求头和代理（这里禁用了代理）
  3. 添加了10秒超时设置
  4. raise_for_status()会在请求失败时抛出异常
  5. 使用列表推导式从返回的JSON中提取所有thumbURL字段
  6. 添加了异常处理，失败时打印错误信息并返回空列表

下载并保存图片

def save_image(self, img_link, filename):
    try:
        res = requests.get(
            img_link,
            headers=self.header,
            proxies={"http": None, "https": None},
            timeout=10
        )
        res.raise_for_status()
        
        with open(filename, "wb") as f:
            f.write(res.content)
            print(f"成功保存: {filename}")
    except Exception as e:
        print(f"下载图片失败: {e}")

这个方法负责下载并保存图片：

  1. 同样使用requests.get获取图片内容
  2. 以二进制写入模式(wb)打开文件
  3. 直接将响应内容写入文件
  4. 添加了异常处理，下载失败时打印错误信息

主运行逻辑

def run(self):
    searchName = input("查询内容：")
    searchName_parse = parse.quote(searchName)
    self.create_directory(searchName)
    self.image_counter = 0  # 重置计数器

    for index in range(self.json_count):
        pn = index * 30
        request_url = self.url.format(searchName_parse, searchName_parse, str(pn))
        links = self.get_image_link(request_url)
        for link in links:
            filename = os.path.join(self.directory.format(f"{self.image_counter}.jpg"))  # 使用全局计数器
            self.save_image(link, filename)
            self.image_counter += 1  # 计数器递增
            time.sleep(1)
    print(f"{searchName}----图像下载完成--------->")

这是爬虫的主控制流程：

  1. 获取用户输入的搜索关键词
  2. 对关键词进行URL编码
  3. 创建保存目录
  4. 重置图片计数器
  5. 循环获取多组图片（每组30张）
  6. 构建请求URL，pn参数控制分页
  7. 获取图片链接列表
  8. 逐个下载图片，文件名使用递增的数字
  9. 每次下载后暂停1秒，避免请求过于频繁
  10. 完成后打印提示信息

扩展思路

这个基础爬虫还可以进一步扩展：

  1. 支持更多搜索引擎：除了百度，还可以添加谷歌、必应等图片搜索的支持

  2. 图片筛选：根据大小、格式、颜色等条件筛选图片

  3. 去重功能：使用哈希值检查避免下载重复图片

  4. 断点续传：记录已下载的图片，程序中断后可以从中断处继续

  5. GUI界面：使用PyQt或Tkinter添加图形界面，更方便非技术人员使用

完整代码

import requests
import json
from urllib import parse
import os
import time

class BaiduImageSpider(object):
    def __init__(self):
        self.json_count = 0
        self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&queryWord={}&word={}&pn={}&rn=30'
        self.directory = r"C:价值一个亿python-mini-projectsprojectsaidutupian{}"
        self.header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Accept-Language': 'en-US,en;q=0.5',
            'Referer': 'https://image.baidu.com'
        }
        self.image_counter = 0  # 新增全局图片计数器

    def create_directory(self, name):
        self.directory = self.directory.format(name)
        os.makedirs(self.directory, exist_ok=True)
        self.directory += r'{}'

    def get_image_link(self, url):
        try:
            response = requests.get(
                url,
                headers=self.header,
                proxies={"http": None, "https": None},
                timeout=10
            )
            response.raise_for_status()
            return [item['thumbURL'] for item in response.json().get('data', []) if 'thumbURL' in item]
        except Exception as e:
            print(f"获取图片链接失败: {e}")
            return []

    def save_image(self, img_link, filename):
        try:
            res = requests.get(
                img_link,
                headers=self.header,
                proxies={"http": None, "https": None},
                timeout=10
            )
            res.raise_for_status()
            
            with open(filename, "wb") as f:
                f.write(res.content)
                print(f"成功保存: {filename}")
        except Exception as e:
            print(f"下载图片失败: {e}")

    def run(self):
        searchName = input("查询内容：")
        searchName_parse = parse.quote(searchName)
        self.create_directory(searchName)
        self.image_counter = 0  # 重置计数器

        for index in range(self.json_count):
            pn = index * 30
            request_url = self.url.format(searchName_parse, searchName_parse, str(pn))
            links = self.get_image_link(request_url)
            for link in links:
                filename = os.path.join(self.directory.format(f"{self.image_counter}.jpg"))  # 使用全局计数器
                self.save_image(link, filename)
                self.image_counter += 1  # 计数器递增
                time.sleep(1)
        print(f"{searchName}----图像下载完成--------->")

if __name__ == '__main__':
    spider = BaiduImageSpider()
    spider.json_count = 10  # 下载10组图片
    spider.run()

使用说明

  1. 安装依赖：

    pip install requests

  2. 运行方式：

    • 直接运行：tupian.py
    • 或者导入使用：

    if name == ‘main’:
    spider = BaiduImageSpider()
    spider.json_count = 10 # 下载10组图片
    spider.run()

  3. 创建爬虫实例

  4. 设置json_count决定下载多少组图片（每组30张）

  5. 调用run()方法开始爬取

运行后会提示输入搜索关键词，然后就会自动下载图片到指定目录。

在这里插入图片描述

高级技巧

  1. 代理设置：如果需要使用代理，可以修改请求方法：

    proxies = {
    'http': 'http://your.proxy:port',
    'https': 'http://your.proxy:port'
}
response = requests.get(url, headers=self.header, proxies=proxies)

  2. 多线程下载：可以使用concurrent.futures实现：

    from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor(max_workers=5) as executor:
    executor.map(self.save_image, links)

  3. 断点续传：记录已下载的URL，程序重启后跳过已下载的图片。

注意事项

  1. 请遵守百度的robots.txt协议，合理控制请求频率
  2. 不要用于商业用途，尊重图片版权
  3. 建议设置合理的json_count值，避免请求过多被封IP
  4. 下载失败时，程序会自动重试，但大量失败可能是触发了反爬机制

这个改进版的百度图片爬虫具有更好的稳定性、更详细的日志输出和更友好的使用体验。你可以根据自己的需求进一步扩展功能，比如添加图片去重、自动分类等功能。

Python爬虫获取百度的图片
笼中鸟
01-07 5020
XPath 是 Scrapy 中常用的一种解析器，可以帮助爬虫定位和提取 HTML 或 XML 文档中的数据。Scrapy 中使用 XPath 的方式和普通的 Python 程序基本一致。我们需要首先导入 scrapy 的 Selector 类和 scrapy 的 Request 类，然后使用 Selector 类来解析 Response 对象，并使用 XPath 表达式来定位和提取数据。Selenium 是为了解决 requests 无法直接执行 JavaScript 代码的问题。
python爬取百度图片
wqjhky的博客
07-22 924
python爬取百度搜索的图片 URL可自行替换
Python爬取百度图片代码！
Pythoncxy的博客
07-11 938
python爬取百度图片代码 import json Python资源共享群：484031800 import itertools import urllib import requests import os import re import sys word=input("请输入关键字：") path="./ok" if not os.path.exists(path): os....
《解锁Scrapy：手把手教你爬取网站图片宝藏》，基于Scrapy的网站图片爬取全流程解析，从环境搭建到实战演练及常见问题解决
最新发布
06-12
内容概要：本文详细介绍了如何使用Scrapy爬虫进行网站图片爬取。首先，文章阐述了Scrapy的特点和优势，如异步网络库、灵活的架构设计、强大的XPath和CSS选择器、自动请求管理和管道系统等。接着，文章讲解了环境搭建...
Python爬取百度图片
热门推荐
我的博客
02-25 4万+
新人上路, 老司机们请多多关照, 写的不好的地方, 还请多指教. 在很久很久以前, 我是一个苦逼的90后挨踢空穴老人, 一个人的夜里可是什么事都能干得出来! 这不, 我用我的把老师的图片给抓了过来… 言归正传, 本文介绍如何爬百度图片(滑稽.jpg): 输入想要抓取的图片的关键字, 如”苍老师”, 然后输出百度图片搜索苍老师的所有图片 采用翻页模式进行爬取 1. 分析网页结
爬虫案例：手把手教你爬取图片
一行玩python
11-05 9913
大家好，我是一行今天是小白菜同学的投稿，老规矩一个赞10积分一、确认目标和思路：写在最前面：程序很简单，重要的是思路以及对错误的分析1.确认目标和大体思路： 今天我们需要爬取的网站是：h...
python爬虫爬取房源_手把手教你用Python网络爬虫爬取新房数据
weixin_32424885的博客
02-04 2501
项目背景大家好，我是J哥。新房数据，对于房地产置业者来说是买房的重要参考依据，对于房地产开发商来说，也是分析竞争对手项目的绝佳途径，对于房地产代理来说，是踩盘前的重要准备。今天J哥以「惠民之家」为例，手把手教你利用Python将惠州市新房数据批量抓取下来，共采集到近千个楼盘，包含楼盘名称、销售价格、主力户型、开盘时间、容积率、绿化率等「41个字段」。数据预览如下： 后台回复「新房」二字，可领取本文...
【爬虫】Python实现爬取淘宝商品信息（超详细）
qq_46315152的博客
07-25 3万+
项目基于Python的第三方库Selenium模拟浏览器运行、PyQuery解析和操作HTML文档，获取淘宝平台中某类商品的详细信息（商品标题、价格、销量、商铺名称、地区、商品详情页链接、商铺链接等），并基于第三方库openpyxl建立、存储于Excel表格中。# 全局变量count = 1 # 写入Excel商品计数# 启动ChromeDriver服务# 关闭自动测试状态显示 // 会导致浏览器报：请停用开发者模式# 把chrome设为selenium驱动的浏览器代理；# 窗口最大化。
Python3爬虫抓取百度图片中的图片
08-07
Python3爬虫抓取百度图片中的图片，可根据需求输入关键字、图片数量
python爬取百度图片（新）
11-14
python3 爬虫 根据关键字搜索爬取并下载百度上的相关图片
python 爬虫爬取百度图片
u010050735的博客
10-04 2552
本人初学python爬虫，想试着爬取百度图片搜索上的图片。但简单的只是设置一下爬取的网页，然后用正则取筛选图片的链接，在京东或者当当的网页上可以，在百度上不好使。具体的代码如下：import re import urllib.request def craw(url,page): html=urllib.request.urlopen(url).read() html=str(ht
使用python爬取百度图片
dengfan666的博客
08-16 1382
最近一直痴迷于用python爬取《权利的游戏》里面的琼恩雪诺的图片，简直帅爆了啊...... 看了好几个代码和视频，却总是没能成功，一个麦子学院12分钟的视频我硬是看了二十几个小时，吐血..... 倒是把MOOC上的图片爬来了五十几张 ，晕..... 总结一下爬取图片要用到的模块和其他知识： 要用到的python模块：requests模块（http://www.cnblogs.com/ta
python 爬取百度图片
小白的博客
05-28 263
import requests import os #获取 def getPages(kw,num): params = [] for j in range(0,3): params.append({ 'tn':'resultjson_com', 'ipn':'r', 'ct':'201326592', 'cl':'2',
用Python爬取百度图片
weixin_47873308的博客
11-13 395
import re import requests from urllib import error import os num = 0 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"} def dowmloadPicture(html, keyword): #用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值