Python爬虫系列（二）——Python爬虫批量下载百度图片

已于 2024-01-06 19:38:23 修改
阅读量3.2k 收藏 27
点赞数 9
分类专栏： python 文章标签： python 爬虫 数据挖掘
于 2023-10-25 14:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/libaiup/article/details/134028174
版权
1. 前言

先贴代码

# -*- coding:utf8 -*-
import requests
import json
from urllib import parse
import os
import time

class BaiduImageSpider(object):
    def __init__(self):
        self.json_count = 0  # 请求到的json文件数量（一个json文件包含30个图像文件）
        self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \
                   '=201326592&is=&fp=result&queryWord={' \
                   '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word={' \
                   '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \
                   '}&rn=30&gsm=1e&1635054081427= '
        self.directory = r"C:\Users\cun\Pictures\download\{}"  # 存储目录  这里需要修改为自己希望保存的目录  {}不要丢
        self.header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30 '
        }

    # 创建存储文件夹
    def create_directory(self, name):
        self.directory = self.directory.format(name)
        # 如果目录不存在则创建
        if not os.path.exists(self.directory):
            os.makedirs(self.directory)
        self.directory += r'\{}'

    # 获取图像链接
    def get_image_link(self, url):
        list_image_link = []
        strhtml = requests.get(url, headers=self.header)  # Get方式获取网页数据
        jsonInfo = json.loads(strhtml.text)
        for index in range(30):
            list_image_link.append(jsonInfo['data'][index]['thumbURL'])
        return list_image_link

    # 下载图片
    def save_image(self, img_link, filename):
        res = requests.get(img_link, headers=self.header)
        if res.status_code == 404:
            print(f"图片{img_link}下载出错------->")
        with open(filename, "wb") as f:
            f.write(res.content)
            print("存储路径：" + filename)

    # 入口函数
    def run(self):
        searchName = input("查询内容：")
        searchName_parse = parse.quote(searchName)  # 编码

        self.create_directory(searchName)

        pic_number = 0  # 图像数量
        for index in range(self.json_count):
            pn = (index+1)*30
            request_url = self.url.format(searchName_parse, searchName_parse, str(pn))
            list_image_link = self.get_image_link(request_url)
            for link in list_image_link:
                pic_number += 1
                self.save_image(link, self.directory.format(str(pic_number)+'.jpg'))
                time.sleep(0.2)  # 休眠0.2秒，防止封ip
        print(searchName+"----图像下载完成--------->")

if __name__ == '__main__':
    spider = BaiduImageSpider()
    spider.json_count = 10   # 定义下载10组图像，也就是三百张
    spider.run()

如果要使用上述程序的话，需要修改两个地方：

  • self.directory 这是本地存储地址，修改为自己电脑的地址，另外，**{}**不要删
  • spider.json_count = 10 这是下载的图像组数，一组有30张图像，10组就是三百张，根据需求下载

也可以去gitee仓库直接下载程序。

关于python爬虫入门，如何查看网页源码，可以参考我的另一篇文章 点击跳转

2. Python爬虫批量下载百度图片

流程：先分析页面，然后写爬虫程序。

打开“百度图片”，随便搜索一个词汇，例如玫瑰，可以查询到相关的图片

image-20211024132137388

  1. 分析页面

点击鼠标右键–>检查–元素，先找到第一层div

image-20211024132532939

然后往下找，可以找到一堆li，也就是以列表排列的元素，经研究发现，每个li代表一个模块，每个模块包含图像和下面的字，实际上，下面的字也带有相应链接，点击可以跳转到新页面。

image-20211024132811181

可以先数一下，包含前面的广告图片，总共也就二十多个li，也就是只包含了二十多张图像。

根据使用经验来看，鼠标滚轮下滚，会看到源源不断的图像，并不局限于二十多张图像，那么我们先下滚鼠标滚轮，看看会发生什么。（此时只有一个类名为“imgpage”的div）

image-20211024134004366

鼠标滚轮下滚，类名为“imgpage”的div增加了很多，继续下滚，还会继续增加。

image-20211024134201075

由此可以得出一个结论，“百度图片”初始只会渲染部分图像到页面上，随着滚轮下滚，就会请求新的数据。而请求数据，就可以在“网络“中获取请求信息，

image-20211024134634136

打开”网络“，可以发现请求的数据非常非常多，而我们只想找刚刚请求的图像数据。

这里再了解一个新技术–XHR，关于XHR，推荐一篇文章XHR-点击跳转，简单来说，在XHR之前，网页要获取客户端和服务器的任何状态更新，都需要刷新一次，而XHR可以不用刷新就请求到新的数据。刚才的下滚鼠标滚轮并没有刷新界面信息。

打开”网络“中的【XHR】，这里的数据都是通过XHR请求到的，通过名称可以初步判断出，请求到的文件是json格式的。

image-20211024135256750

随便点开一个文件，查看请求的url，可以发现，url很长

image-20211024135458608

比对以下不同文件的请求url，可以发现两个【pn】和【gsm】不同（gsm可以不用管它，这是通信系统）

image-20211024135832630

对比多个文件，可以看到特点：

  • pn:30
  • pn:60
  • pn:90
  • ……

下滚鼠标滚轮，会添加一个新的json文件，实际上，pn表示一组数据，一组数据包含30个图像内容，也就是第一次请求会得到30个图像，再次请求会得到另外30个图像。

现在已经分析出查询同种类型图像的url特点，那么不同类型的请求url呢？

这里又查询了一下”向日葵“，，pn也是按30、60、90进行排列的。对比”玫瑰“和”向日葵“的请求url，不同的属性增加了【logid】、【queryWord】、【word】，而【queryWord】和【word】的信息是相同的，通过名称可以看出，【queryWord】和【word】代表的是查询信息。

queryWord=%E5%90%91%E6%97%A5%E8%91%B5

这后面的信息是编码后的查询数据，至于为什么编码，是因为URL只支持一部分ASCII编码，而中文内容需要进行编码，才能用于url

使用在线URL编码工具尝试编码”向日葵“，发现与url使用中的相同

image-20211024141921177

到这里，我们可以尝试一下这个url请求

import requests  # 导入requests包

url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=6991546938775238432&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%90%91%E6%97%A5%E8%91%B5&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E5%90%91%E6%97%A5%E8%91%B5&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&nojc=&pn=30&rn=30&gsm=1e&1635046467636='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}

strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
print(strhtml.text)

请求到的数据如下图所示，可以看到返回结果是json格式的。

image-20211024142333934

既然是json格式的，我们也不用BeautifulSoup进行解码了，直接根据json格式获取信息。

import requests  # 导入requests包
import json

url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=6991546938775238432&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%90%91%E6%97%A5%E8%91%B5&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E5%90%91%E6%97%A5%E8%91%B5&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&nojc=&pn=30&rn=30&gsm=1e&1635046467636='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}

strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
jsonInfo = json.loads(strhtml.text)
for index in range(30):
    print(jsonInfo['data'][index]['thumbURL'])

image-20211024143135677

点击相应的链接，可以查询出相应的图像。

image-20211024143249824

  1. 编写爬虫程序

经过上面分析，基本上有了编写程序的思路。

  • 获取请求url
  • 解析出图像对应的url
  • 根据图像url下载图像

根据设计思路，编写爬虫程序

# -*- coding:utf8 -*-
import requests
import json
from urllib import parse
import os
import time

class BaiduImageSpider(object):
    def __init__(self):
        self.json_count = 0  # 请求到的json文件数量（一个json文件包含30个图像文件）
        self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \
                   '=201326592&is=&fp=result&queryWord={' \
                   '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word={' \
                   '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \
                   '}&rn=30&gsm=1e&1635054081427= '
        self.directory = r"C:\Users\cun\Pictures\download\{}"  # 存储目录  这里需要修改为自己希望保存的目录  {}不要丢
        self.header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                          'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30 '
        }

    # 创建存储文件夹
    def create_directory(self, name):
        self.directory = self.directory.format(name)
        # 如果目录不存在则创建
        if not os.path.exists(self.directory):
            os.makedirs(self.directory)
        self.directory += r'\{}'

    # 获取图像链接
    def get_image_link(self, url):
        list_image_link = []
        strhtml = requests.get(url, headers=self.header)  # Get方式获取网页数据
        jsonInfo = json.loads(strhtml.text)
        for index in range(30):
            list_image_link.append(jsonInfo['data'][index]['thumbURL'])
        return list_image_link

    # 下载图片
    def save_image(self, img_link, filename):
        res = requests.get(img_link, headers=self.header)
        if res.status_code == 404:
            print(f"图片{img_link}下载出错------->")
        with open(filename, "wb") as f:
            f.write(res.content)
            print("存储路径：" + filename)

    # 入口函数
    def run(self):
        searchName = input("查询内容：")
        searchName_parse = parse.quote(searchName)  # 编码

        self.create_directory(searchName)

        pic_number = 0  # 图像数量
        for index in range(self.json_count):
            pn = (index+1)*30
            request_url = self.url.format(searchName_parse, searchName_parse, str(pn))
            list_image_link = self.get_image_link(request_url)
            for link in list_image_link:
                pic_number += 1
                self.save_image(link, self.directory.format(str(pic_number)+'.jpg'))
                time.sleep(0.2)  # 休眠0.2秒，防止封ip
        print(searchName+"----图像下载完成--------->")

if __name__ == '__main__':
    spider = BaiduImageSpider()
    spider.json_count = 10   # 定义下载10组图像，也就是三百张
    spider.run()

如果要使用上述程序的话，需要修改两个地方：

  • self.directory 这是本地存储地址，修改为自己电脑的地址，另外，**{}**不要删
  • spider.json_count = 10 这是下载的图像组数，一组有30张图像，10组就是三百张，根据需求下载

测试下载3组玫瑰，程序运行情况：

image-20211024152530111

下载的玫瑰图像数据：

image-20211024152714420

10组向日葵图像：

image-20211024152653324

值得注意的是，下载过程中使用了休眠，这里设置了下载一张图像休眠0.2秒，是为了防止查询过快导致ip地址被封，更进阶的做法是添加【代理ip池】

3. 后言

爬虫还是比较好入门的，这得益于成熟的爬虫工具。

爬虫可以满足自己的个性化搜索需求，快动手试试吧。

如果觉得文章还不错的话，留个赞再走吧，非常感谢！！！

总结

说了这么多，旨在告诉大家Python这个类目无论是功能性、还是上手程度都碾压其他语言，作为最适合零基础入门的编程语言，想要学习自然不能纸上谈兵，还得沉下心来深入的研究和学习。

只告诉大家学什么但是不给予方向的行为无异于耍流氓，这里也是分享我多年收藏的技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你，干货内容包括：
在这里插入图片描述
上述这份完整版的Python全套学习资料已经上传CSDN官方，如果需要可以微信扫描下方CSDN官方认证二维码 即可领取

👉[[CSDN大礼包：《python安装包&全套学习资料》免费分享]]（安全链接，放心点击）

进击的码农！
关注
  • 9
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Python爬取百度图片资源
03-12
爬取百度图片涉及到百度的反爬虫机制，因此直接爬取可能会遇到各种问题，比如验证码、IP封锁等。而且，未经许可的爬取行为可能违反百度的服务条款。但如果你只是想了解基本的爬虫原理，我可以为你提供一个简单的示例代码，基于Python的requests和BeautifulSoup库来模拟一个简单的爬虫。
利用Python爬虫批量下载百度图库图片
02-04
利用Python爬虫批量下载百度图库图片
Python从指定网页上下载所有图片到本地存储路径(PyCharm实现)
m0_73776435的博客
03-02 829
在函数中遍历找到的每个图像标签，并提取包含图像 URL 的 src 属性。运行前需要准备必要的包，`requests` 用于发起 HTTP 请求，`BeautifulSoup` 来自 bs4 用于解析 HTML，`urljoin` 来自 urllib.parse 用于拼接 URL，以及 `urlretrieve` 来自 urllib.request 用于下载文件。最后用实际要从中提取图像的网页的 URL 和要保存图像的目录路径替换占位符 `"https://"` 和 `"D:\"`。
python3实现爬取百度图片，包含详细注释
06-16
使用python3 urllib request re 等模块以及文件操作来实现爬取百度图片。包含三个文件，一个是代码，另外两个用来获取图片的数据，python代码在为indows和linux下都可以使用。直接可以运行，不过要注意下载到的图片的路径。详情请看我的相关博文。
Python爬虫实战（五）：根据关键字爬取某度图片批量下载到本地（附上完整源码）
热门推荐
努力让自己发光，对的人才能迎着光而来
08-21 13万+
Python爬虫实战（五）：根据关键字爬取某度图片批量下载到本地（附上完整源码）
【Python爬虫】批量爬取图片的简单案例
在这里你甚至能学算卦，快进来看看
04-20 1741
【Python爬虫】批量爬取图片的简单案例
python爬虫批量爬取百度图片
12-22
#最好用的一个 # coding:utf-8 import requests import os import re # import json import itertools import urllib import sys # 百度图片URL解码 # http://blog.csdn.net/hbuxiaoshe/article/details/44780653 str_table = { '_z2C$q': ':', '_z&e3B': '.', 'AzdH3F': '/' } char_table = { 'w': 'a', 'k': 'b',
python爬取百度图片的思路与代码(最后附上了代码）
weixin_52971139的博客
05-31 1万+
python爬取百度图片的详细思路与代码。
爬取百度图片
Wenweno0o的博客
11-19 8913
python爬虫：爬取百度图片前言涉及到的库实现过程 前言 由于工作需要，需要从网上获取大量图片。百度图片就是一个动态网页，需要使用动态爬取功能进行爬图片。 涉及到的库 import requests import json import os 实现过程 - 下载链接分析 首先，打开百度，搜索一个内容 然后，打开抓包工具，选择XHR选项，按Ctrl+R，然后你会发现，随着你鼠标的滑动，右侧会出现一个又一个的数据包。 这里简单说一下什么是抓包工具： 什么是抓包？ 即抓取我们本地电脑与远端服务器通信时候
【实战案例】python爬取百度图片
2201_75362610的博客
05-15 2885
网页中的图片是浏览器通过 http 请求下载回来的。浏览器会先下载图片的 url，再通过 url 下载图片。所以我们只要找到图片 url 的 http 请求即可。一般情况下，页面中的图片 url 就包含在页面的 HTML 文档中，使用谷歌浏览器开发者调试工具获取图片的 url
python爬虫实例（百度图片、网站图片）
weixin_42010722的博客
07-18 3142
爬虫基本流程 1.准备工作 通过浏览器，查看分析网站，学习基本html基础规范 2.获取数据 通过http向目标点发起请求，请求包含header等信息，如服务器正常相应，得到response 3.解析内容 得到内容可能是html，json格式，可以用页面解析库，正则表达式等 4.保存数据 1.百度图片爬虫 在这里有一个小技巧，百度图片展示是下拉式的，要想看更多的图片，需要滑动滚轮让界面加载才可以查看。 普通的爬虫对于百度图片的url只会接受到未滚动滚轮前界面所展示的所有信息 因此这里有一个小技巧，如上
最新Python爬取百度图片.zip
06-26
最新python脚本爬取百度图片，可以爬取各种类型的图片，如动物，水果，美女，动漫等等，一次性可以爬取1020张高清图片。希望我所上传的资源能够对你有所帮助。
基于Python实现的百度图片自动下载（python爬虫）
04-23
python爬虫 制作一个爬虫一般分以下几个步骤： 分析需求 分析网页源代码，配合开发者工具 编写正则表达式或者XPath表达式 正式编写 python 爬虫代码
Python爬虫实现百度图片自动下载
01-31
爬虫python入门 制作爬虫的步骤 制作一个爬虫一般分以下几个步骤： 分析需求 分析网页源代码，配合开发者工具 编写正则表达式或者XPath表达式 正式编写 python 爬虫代码 效果预览 运行效果如下： 存放图片的...
SpringBoot中实现发送邮件
最新发布
m0_64289188的博客
04-30 345
当你添加了spring-boot-starter-mail依赖后，Spring Boot会自动配置JavaMailSender实例，并根据application.yml文件中的属性来配置这个实例。你可以直接在需要发送邮件的地方通过@Autowired注解将JavaMailSender实例注入到你的类中，然后使用它来发送邮件。：首先，需要在你的pom.xml文件中添加Spring Boot的邮件发送器依赖。，简化了在Spring Boot应用程序中发送电子邮件的设置过程。Spring Boot的。
[python3] 读取一个正在更新的日志文件
言之。
04-24 1000
等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪。这两种方法都会持续监听日志文件的变化，并实时读取新增的日志内容。你可以根据实际需求选择其中一种方法。要读取一个正在更新的日志文件（即实时写入的日志文件），你可以使用 Python 的。的技巧来实现实时读取。函数打开文件，并使用。
Day25-Java基础之常用类1
m0_46053885的博客
04-27 863
同时我们发现Math类中的方法都是静态的，因此在使用的时候我们可以直接通过类名去调用。对于计算机而言，其实是没有数据类型的概念的，都是0101010101，数据类型是编程语言自己规定的，所以在实际存储的时候，先把具体的数字变成二进制，每32个bit为一组，存储在数组中。比较内存地址值一般情况下是没有意义的，我们希望比较的是对象的属性，如果两个对象的属性相同，我们认为就是同一个对象；如果我们的数据是一个浮点类型的数据，有的时候计算机并不会将这个数据完全转换成一个二进制数据，而是将这个将其转换成一个无限的。
链表刷题集
yajunjiao的专栏
04-30 265
本文主要列举了一些刷的题，不多，有那么几道，也建议各位去建立自己的刷题集。积少成多。
python爬取图片并保存_爬虫：大量爬取百度图片——python
05-20
以下是使用Python爬取百度图片并保存的示例代码： ```python # 导入依赖库 import requests import re import os # 设置搜索关键字 keyword = "美食" # 设置图片保存路径 save_path = "./images/" # 构造百度图片搜索的URL url = "https://image.baidu.com/search/index?tn=baiduimage&word={}".format(keyword) # 发送HTTP请求并获取响应 response = requests.get(url) # 使用正则表达式从响应内容中提取图片URL列表 img_urls = re.findall('"objURL":"(.*?)",', response.text, re.S) # 遍历图片URL列表并下载保存图片 for i, img_url in enumerate(img_urls): try: # 发送HTTP请求并获取响应 response = requests.get(img_url, timeout=10) # 设置图片保存路径 img_path = os.path.join(save_path, "{}.jpg".format(i)) # 保存图片 with open(img_path, "wb") as f: f.write(response.content) print("成功下载第{:>3d}张图片！".format(i+1)) except Exception as e: print("下载第{:>3d}张图片失败：{}".format(i+1, e)) ``` 解释一下上述代码的主要步骤： 1. 设置搜索关键字和图片保存路径 2. 构造百度图片搜索的URL 3. 发送HTTP请求并获取响应 4. 使用正则表达式从响应内容中提取图片URL列表 5. 遍历图片URL列表并下载保存图片 需要注意的是，这种方式只是简单的使用正则表达式从响应内容中提取图片URL，而没有使用任何API，因此可能存在一些不稳定性和容易被反爬虫机制封禁的风险。建议在使用时注意合理使用代理、设置请求头等防反爬措施。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值