Python爬虫——关键字爬取百度图片

在日常生活中,我们经常需要使用百度图片来搜索相关的图片资源。而如果需要大量获取特定关键字的图片资源,手动一个个下载无疑十分繁琐且费时费力。因此,本文将介绍如何通过Python爬虫技术,自动化地获取百度图片。

要爬取的是百度图片,大概的思路就是得到要爬取的url、拿到网页源码、得到图片链接、保存图片。在做这些工作之前,我们要先导入需要的第三方库requests、re和os。下面我将教你如何一步一步实现。

(1)打开百度图片首页百度图片-发现多彩世界 (baidu.com),输入金毛进行搜索:

(2)右键鼠标,选择检查,依次点击Network→Fetch/XHR,然后刷新一下网页:

(3)点击以acjson开头的一行,查看Headers,可以看到Request URL信息如下:

(4)一直往下滑,在底部就是User-Agent:

完整的源代码如下:

# -*- coding: utf-8 -*-
"""
Created on Wed Mar 29 10:17:50 2023
@author: MatpyMaster
"""
import requests
import os
import re

def get_images_from_baidu(keyword, page_num, save_dir):
    header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
    # 请求的 url
    url = 'https://image.baidu.com/search/acjson?'
    n = 0
    for pn in range(0, 30 * page_num, 30):
        # 请求参数
        param = {'tn': 'resultjson_com',
                 'logid': '7603311155072595725',
                 'ipn': 'rj',
                 'ct': 201326592,
                 'is': '',
                 'fp': 'result',
                 'queryWord': keyword,
                 'cl': 2,
                 'lm': -1,
                 'ie': 'utf-8',
                 'oe': 'utf-8',
                 'adpicid': '',
                 'st': -1,
                 'z': '',
                 'ic': '',
                 'hd': '',
                 'latest': '',
                 'copyright': '',
                 'word': keyword,
                 's': '',
                 'se': '',
                 'tab': '',
                 'width': '',
                 'height': '',
                 'face': 0,
                 'istype': 2,
                 'qc': '',
                 'nc': '1',
                 'fr': '',
                 'expermode': '',
                 'force': '',
                 'cg': '',    # 这个参数没公开,但是不可少
                 'pn': pn,    # 显示:30-60-90
                 'rn': '30',  # 每页显示 30 条
                 'gsm': '1e',
                 '1618827096642': ''
                 }
        request = requests.get(url=url, headers=header, params=param)
        if request.status_code == 200:
            print('Request success.')
        request.encoding = 'utf-8'
        # 正则方式提取图片链接
        html = request.text
        image_url_list = re.findall('"thumbURL":"(.*?)",', html, re.S)

        if not os.path.exists(save_dir):
            os.makedirs(save_dir)

        for image_url in image_url_list:
            image_data = requests.get(url=image_url, headers=header).content
            with open(os.path.join(save_dir, f'{n:06d}.jpg'), 'wb') as fp:
                fp.write(image_data)
            n = n + 1  
if __name__ == "__main__":       
    keyword = '金毛'
    page_num = 1
    page_num = int(page_num)
    save_dir = '.\\图片\\'+keyword
    get_images_from_baidu(keyword, page_num, save_dir)

设置好关键字keyword和爬取页数page_num,运行代码就可以了,最后会在将爬取的图片以关键字为名创建一个文件夹保存至图片文件夹。

最后:

如果你想要进一步了解Python爬虫的相关知识,可以关注下面公众号联系~会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner,gui设计、simulink仿真......希望能帮到你!

  • 33
    点赞
  • 91
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
Python是一种高级编程语言,拥有丰富的库和模块,可以方便地进行网络爬虫操作,用于从互联网上获取数据。关键字Python语言中具备特殊含义的单词,其中一个关键字是"爬取"。我们可以使用Python关键字来编写代码,实现从百度图片网站上爬取图片的功能。 首先,我们需要安装相关的Python库,例如"requests"用于发送网络请求,"beautifulsoup4"用于解析网页内容。然后,我们可以编写Python代码来实现爬取百度图片的功能。 首先,我们需要导入上述所需的库: ``` import requests from bs4 import BeautifulSoup ``` 接下来,我们需要定义一个函数,将要爬取的网址作为参数传入函数中。在函数中,我们使用"requests"库发送网络请求,获取网页的内容,然后使用"beautifulsoup4"库对网页内容进行解析。 ``` def crawl_baidu_images(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') ``` 接下来,我们需要通过分析百度图片网站的源代码,找到图片所在的标签和属性,然后使用"beautifulsoup4"库提供的方法来选取和提取图片。 ``` images = soup.find_all('img', class_='img-hover') for image in images: print(image['src']) ``` 最后,我们可以调用上述定义的函数,并传入百度图片网站的网址,来执行爬取操作。 ``` crawl_baidu_images('http://image.baidu.com/') ``` 以上就是使用Python关键字实现爬取百度图片的简单示例代码。当然,实际的爬虫代码可能更加复杂,需要处理网页解析、数据存储等更多的细节。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MatpyMaster

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值