Python Selenium 图片资源自动搜索保存 项目实践

最新推荐文章于 2024-05-15 09:48:00 发布
最新推荐文章于 2024-05-15 09:48:00 发布
阅读量1.8k 收藏
点赞数 1
分类专栏： 爬虫 文章标签： python selenium 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47906106/article/details/134639240
版权

实现访问首页

from os.path import dirname

from selenium import webdriver


class ImageAutoSearchAndSave:
    """图片自动搜索保存"""
    def __init__(self):
        """初始化"""
        self.driver = webdriver.Chrome(executable_path=dirname(__file__) + "/chromedriver.exe")

    def run(self):
        """开始运行"""
        print("=======开始=======")
        # 访问首页
        self.driver.get("https://pixabay.com/")
        print("=======结束=======")


if __name__ == '__main__':
    ImageAutoSearchAndSave().run()

启动后会自动打开一个页面
在这里插入图片描述

实现图片自动欧索

from os.path import dirname

from selenium import webdriver
from selenium.webdriver.common.keys import Keys


class ImageAutoSearchAndSave:
    """图片自动搜索保存"""

    def __init__(self, keyword):
        """初始化"""
        self.keyword = keyword
        self.driver = webdriver.Chrome(executable_path=dirname(__file__) + "/chromedriver.exe")

    def run(self):
        """开始运行"""
        print("=======开始=======")
        # 访问首页
        self.driver.get("https://pixabay.com/")
        # 搜索图片
        self._search_image()
        print("=======结束=======")

    def _search_image(self):
        '''搜索图片'''
        elem = self.driver.find_element_by_css_selector("input[name]")
        elem.send_keys(self.keyword + Keys.ENTER)


if __name__ == '__main__':
    keyword = "cat"
    ImageAutoSearchAndSave(keyword).run()

遍历所有图片列表页面

页面分析

第一页
在这里插入图片描述
第二页
在这里插入图片描述
由此可得出变化的只有这里，根据pagi= 展示不同页面
在这里插入图片描述
红色箭头定位到页数，绿色的不要使用 是反爬虫的限制，不断变化的
在这里插入图片描述

from os.path import dirname

from selenium import webdriver
from selenium.webdriver.common.keys import Keys


class ImageAutoSearchAndSave:
    """图片自动搜索保存"""

    def __init__(self, keyword):
        """初始化"""
        self.keyword = keyword
        self.driver = webdriver.Chrome(executable_path=dirname(__file__) + "/chromedriver.exe")

    def run(self):
        """开始运行"""
        print("=======开始=======")
        # 访问首页
        self.driver.get("https://pixabay.com/")
        # 搜索图片
        self._search_image()
        # 遍历所有页面
        self._iter_all_page()


        print("=======结束=======")

    def _search_image(self):
        '''搜索图片'''
        elem = self.driver.find_element_by_css_selector("input[name]")
        elem.send_keys(self.keyword + Keys.ENTER)

    def _iter_all_page(self):
        '''遍历所有页面'''
        # 获取总页面
        elem = self.driver.find_element_by_css_selector("input[class^=pageInput]")
        page_total = int(elem.text.strip("/ "))
        # 遍历所有页面
        base_url = self.driver.current_url
        for page_num in range(1,page_total+1):
            if page_num>1:
                self.driver.get(f"{base_url}?pagi={page_num}&")
if __name__ == '__main__':
    keyword = "sunflower"
    ImageAutoSearchAndSave(keyword).run()

获取所有图片详情页链接

在这里插入图片描述

from os.path import dirname

from lxml.etree import HTML
from selenium import webdriver
from selenium.webdriver.common.keys import Keys


class ImageAutoSearchAndSave:
    """图片自动搜索保存"""

    def __init__(self, keyword):
        """初始化"""
        self.keyword = keyword
        self.all_detail_link = []
        self.driver = webdriver.Chrome(executable_path=dirname(__file__) + "/chromedriver.exe")

    def run(self):
        """开始运行"""
        print("=======开始=======")
        # 访问首页
        self.driver.get("https://pixabay.com/")
        # 搜索图片
        self._search_image()
        # 遍历所有页面
        self._iter_all_page()

        print("=======结束=======")

    def _search_image(self):
        '''搜索图片'''
        elem = self.driver.find_element_by_css_selector("input[name]")
        elem.send_keys(self.keyword + Keys.ENTER)

    def _iter_all_page(self):
        '''遍历所有页面'''
        # 获取总页面
        elem = self.driver.find_element_by_css_selector("input[class^=pageInput]")
        page_total = int(elem.text.strip("/ "))
        # 遍历所有页面
        base_url = self.driver.current_url
        for page_num in range(1, page_total + 1):
            if page_num > 1:
                self.driver.get(f"{base_url}?pagi={page_num}&")
            # href 属性
            root = HTML(self.driver.page_source)
            # a标签中的href属性
            detail_links = root.xpath("//div[start-with(@class,'result')]//a[start-with(@class,'link')]/@href")
            for detail_link in detail_links:
                self.all_detail_link.append(detail_link)


if __name__ == '__main__':
    keyword = "sunflower"
    ImageAutoSearchAndSave(keyword).run()

增加下载数量的限制

在这里插入图片描述

from os.path import dirname

from lxml.etree import HTML
from selenium import webdriver
from selenium.webdriver.common.keys import Keys


class ImageAutoSearchAndSave:
    """图片自动搜索保存"""

    def __init__(self, keyword,limit=0):
        """初始化"""
        self.keyword = keyword
        self.all_detail_link = []
        self.limit=limit #0表示没有限制
        self.count = 0 #用来计数
        self.driver = webdriver.Chrome(executable_path=dirname(__file__) + "/chromedriver.exe")

    def run(self):
        """开始运行"""
        print("=======开始=======")
        # 访问首页
        self.driver.get("https://pixabay.com/")
        # 搜索图片
        self._search_image()
        # 遍历所有页面
        self._iter_all_page()

        print("=======结束=======")

    def _search_image(self):
        '''搜索图片'''
        elem = self.driver.find_element_by_css_selector("input[name]")
        elem.send_keys(self.keyword + Keys.ENTER)

    def _iter_all_page(self):
        '''遍历所有页面'''
        # 获取总页面
        elem = self.driver.find_element_by_css_selector("input[class^=pageInput]")
        # page_total = int(elem.text.strip("/ "))
        page_total = 5
        # 遍历所有页面
        base_url = self.driver.current_url
        for page_num in range(1, page_total + 1):
            if page_num > 1:
                self.driver.get(f"{base_url}?pagi={page_num}&")
            # href 属性
            root = HTML(self.driver.page_source)
            is_reach_limit = False
            # 获取每一页详情链接   a标签中的href属性
            detail_links = root.xpath("//div[start-with(@class,'result')]//a[start-with(@class,'link')]/@href")
            for detail_link in detail_links:
                self.all_detail_link.append(detail_link)
                self.count += 1
                if self.limit >0 and self.count == self.limit:
                    is_reach_limit = True
                    break
            if is_reach_limit:
                break
if __name__ == '__main__':
    keyword = "sunflower"
    limit = 3
    ImageAutoSearchAndSave(keyword,limit).run()

获取所有图片详情、获取图片下载链接

在这里插入图片描述

from os.path import dirname

from lxml.etree import HTML
from selenium import webdriver
from selenium.webdriver.common.keys import Keys


class ImageAutoSearchAndSave:
    """图片自动搜索保存"""

    def __init__(self, keyword, limit=0):
        """初始化"""
        self.keyword = keyword
        self.all_detail_link = []
        self.limit = limit  # 0表示没有限制
        self.count = 0  # 用来计数
        self.all_download_link = [] # 图片详情的下载链接
        self.driver = webdriver.Chrome(executable_path=dirname(__file__) + "/chromedriver.exe")

    def run(self):
        """开始运行"""
        print("=======开始=======")
        # 访问首页
        self.driver.get("https://pixabay.com/")
        # 搜索图片
        self._search_image()
        # 遍历所有页面
        self._iter_all_page()
        # 访问图片详情页
        self._visit_image_detail()
        # 释放资源
        self.driver.close()
        del self.all_detail_link
        print("=======结束=======")

    def _search_image(self):
        '''搜索图片'''
        elem = self.driver.find_element_by_css_selector("input[name]")
        elem.send_keys(self.keyword + Keys.ENTER)

    def _iter_all_page(self):
        '''遍历所有页面'''
        # 获取总页面
        elem = self.driver.find_element_by_css_selector("input[class^=pageInput]")
        # page_total = int(elem.text.strip("/ "))
        page_total = 5
        # 遍历所有页面
        base_url = self.driver.current_url
        for page_num in range(1, page_total + 1):
            if page_num > 1:
                self.driver.get(f"{base_url}?pagi={page_num}&")
            # href 属性
            root = HTML(self.driver.page_source)
            is_reach_limit = False
            # 获取每一页详情链接   a标签中的href属性
            detail_links = root.xpath("//div[start-with(@class,'result')]//a[start-with(@class,'link')]/@href")
            for detail_link in detail_links:
                self.all_detail_link.append(detail_link)
                self.count += 1
                if self.limit > 0 and self.count == self.limit:
                    is_reach_limit = True
                    break
            if is_reach_limit:
                break

    def _visit_image_detail(self):
        '''访问图片详情页'''
        for detail_link in self.all_detail_link:
            self.driver.get(detail_link)
            elem = self.driver.find_element_by_css_selector("#media_container > picture > img")
            download_link = elem.get_attribute("src")
            self.all_download_link.append(download_link)

if __name__ == '__main__':
    keyword = "sunflower"
    limit = 3
    ImageAutoSearchAndSave(keyword, limit).run()

下载所有图片

from io import BytesIO
from os import makedirs
from os.path import dirname
from time import strftime

import requests
from PIL import Image
from lxml.etree import HTML
from selenium import webdriver
from selenium.webdriver.common.keys import Keys


class ImageAutoSearchAndSave:
    """图片自动搜索保存"""

    def __init__(self, keyword, limit=0):
        """初始化"""
        self._keyword = keyword
        self.all_detail_link = []
        self._limit = limit  # 0表示没有限制
        self._count = 0  # 用来计数
        self.all_download_link = [] # 图片详情的下载链接
        self._driver = webdriver.Chrome(executable_path=dirname(__file__) + "/chromedriver.exe")

    def run(self):
        """开始运行"""
        print("=======开始=======")
        # 访问首页
        self._driver.get("https://pixabay.com/")
        # 搜索图片
        self._search_image()
        # 遍历所有页面
        self._iter_all_page()
        # 访问图片详情页
        self._visit_image_detail()
        # 释放资源
        self._driver.close()
        del self.all_detail_link
        
        # 下载所有图片
        self._download_all_image()
        print("=======结束=======")

    def _search_image(self):
        '''搜索图片'''
        elem = self._driver.find_element_by_css_selector("input[name]")
        elem.send_keys(self._keyword + Keys.ENTER)

    def _iter_all_page(self):
        '''遍历所有页面'''
        # 获取总页面
        elem = self._driver.find_element_by_css_selector("input[class^=pageInput]")
        # page_total = int(elem.text.strip("/ "))
        page_total = 5
        # 遍历所有页面
        base_url = self._driver.current_url
        for page_num in range(1, page_total + 1):
            if page_num > 1:
                self._driver.get(f"{base_url}?pagi={page_num}&")
            # href 属性
            root = HTML(self._driver.page_source)
            is_reach_limit = False
            # 获取每一页详情链接   a标签中的href属性
            detail_links = root.xpath("//div[start-with(@class,'result')]//a[start-with(@class,'link')]/@href")
            for detail_link in detail_links:
                self.all_detail_link.append(detail_link)
                self._count += 1
                if self._limit > 0 and self._count == self._limit:
                    is_reach_limit = True
                    break
            if is_reach_limit:
                break

    def _visit_image_detail(self):
        '''访问图片详情页 获取对应的图片链接'''
        for detail_link in self.all_detail_link:
            self._driver.get(detail_link)
            elem = self._driver.find_element_by_css_selector("#media_container > picture > img")
            download_link = elem.get_attribute("src")
            self.all_download_link.append(download_link)

    def _download_all_image(self):
        '''下载所有图片'''
        download_dir = f"{dirname(__file__)}/download/{strftime('%Y%m%d-%H%M%S')}-{self._keyword}"
        makedirs(download_dir)
        #下载所有图片
        count = 0
        for download_link in self.all_download_link:
            response = requests.get(download_link)
            count += 1
            # response.content 二进制内容  response.text 文本内容
            image = Image.open(BytesIO(response.content))
            # rjust  000001.png
            filename = f"{str(count).rjust(6,'0')}.png"
            file_path = f"{download_dir}/{filename}"
            image.save(file_path)

if __name__ == '__main__':
    keyword = "sunflower"
    limit = 3
    ImageAutoSearchAndSave(keyword, limit).run()

可以适当的进行优化，使用selnium的页面加载策略

在这里插入图片描述

季布，
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python识别图标并点击
weixin_42636075的博客
11-07 8008
【代码】python识别图标并点击。
图像检索（以图搜图）python实现
weixin_47696370的博客
06-25 5647
算法思想：统计每个特征（对应词典–也就是聚类的1800个特征中心）在训练集中出现的次数（比如一个特征在15张图片中存在，则该特征对应的值为15），得到一个1800长度的一维向量。算法：提取搜索图片的sift特征，结合之前获取到的词典得到BOF特征向量，计算训练集中每张图片的BOF向量和该特征向量的余弦相似度（越相似，值越小），得到最终的排序结果。函数说明：输入搜索图片的路径，返回最相似的15张图片（由于作者采用的训练集包括了测试集图片，所以查询16张，将查询到的最相似的一张图片（其本身）排除）
chatgpt赋能python：Python区域找图教程：快速定位您需要的图像
liangzijiaa的博客
05-26 1143
区域找图是一种计算机视觉算法，它可以在图像中查找指定的区域或矩形。该算法通常使用匹配模式将模板图像与原始图像进行比较，以找到相似的区域。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是。
Python实战开发及案例分析（24）—— 图搜索算法
最新发布
贾贾的博客
05-15 1181
这些算法涵盖了广泛的图搜索和路径查找需求，每种算法都有其特定的应用场景和优缺点。了解和掌握这些算法，可以帮助更好地解决实际问题。
使用python实现的以图找图类库
04-29
使用python实现的以图找图类库，只需要引入项目，一行代码即可实现： 1、对比文件夹下所有图片，找出相近的图片，输出到指定目录 2、对比指定图片，在一个大的图片集合中，找出的相近的图片，输出到日志中
python 大图找小图
jialan75的博客
09-30 3123
【代码】python 大图找小图。
关于美女图片网MM131的python爬虫项目.zip
01-17
该项目是基于Python编程语言设计的一个爬虫程序，其目标是抓取美女图片网MM131上的图像资源。MM131是一个知名的网络图片分享平台，汇集了大量的高质量图片，而Python爬虫则是一种自动化工具，可以高效地从网站上提取...
Python爬虫实现百度图片自动下载.zip
01-12
本教程将通过"Python爬虫实现百度图片自动下载.zip"这个压缩包文件，详细介绍如何使用Python编写爬虫来从百度图片网站批量下载图片。这个压缩包可能包含一个名为"BaiduImageDownload-master"的文件夹，里面可能有源...
汽车之家车型图片-python爬虫
05-04
在本项目中，"汽车之家车型图片-python爬虫"是一个使用Python编程语言编写的脚本，目的是抓取汽车之家网站上的特定车型的所有图片，并将这些图片保存到本地，以供用户在选择车辆时参考。该项目在2022年5月进行了更新...
python + selenium +pyquery 爬虫 爬取 1688详情图片 阿里巴巴详情图片 与标题 下载图片并进行压缩 仅供学习交流使用 .zip
08-17
在这个项目中，我们使用了Python结合Selenium和PyQuery来实现对1688网站商品详情页的图片和标题的爬取，并将图片进行下载和压缩。 Selenium是一个强大的浏览器自动化工具，它能够模拟真实用户的行为，如点击按钮、...
python爬虫教程，全套资源，附代码案例
04-13
总之，这套"Python爬虫教程，全套资源，附代码案例"涵盖了从入门到精通的全过程，通过实例学习和实践，你将能够独立编写高效、稳定的爬虫程序，应对各种复杂的网页抓取任务。在学习过程中，记得结合实际项目需求，...
Python 进行图片查找并且点击图片
03-26
Python 进行图片查找并且点击图片 imagePath = r"D:\图片.png" print(imagePath) ImageSearchs = ImageSearch.ImageSearchs() ImageSearchs.click(imagePath, 2, timeOut=10)
查找重复图片并删除python（图片去重）
06-18
和网络爬虫配套的，也可单独使用，从网上爬下来的图片重复太多 代码支持识别不同尺寸大小一致的图片，并把重复的图片删除，只保留第一份。主要用的opencv的库 不过由于python效率的问题，图片量大的情况下要跑很长时间（6年前的mac mini跑3000张图片超过24小时）
python窗口找图_python查找图片在原始图片上的坐标点
weixin_32019329的博客
12-29 3058
在做UI测试时，对于自定义的UI控件，程序识别不到，可以考虑通过识别图片找坐标，进而通过点击坐标解决问题。具体实现方式为，先截取整个页面大图，然后在页面上截取目标UI控件的局部小图，最后通过查找局部UI控件小图匹配原始页面图片，并返回局部UI控件小图在原始页面图片的坐标。通过返回的坐标来点击目标UI控件。匹配代码如下：import aircvas acdef matchImg(imgsrc, im...
Python辅助-找图功能（你还在用pyautogui？）
qq_29928661的博客
02-07 2786
在游戏的脚本类辅助中，避免不了一个功能，那就是找图返回图像在屏幕上的坐标，对于找图功能，现成的方法，现成的脚本工具数不胜数，但是至于精度那就不好说了。举个现成方法的例子，在python自动化中，pyautogui有个方法为locateOnScreen(image="图片路径")，其作用为在桌面上找到路径中设置的图片，并返回坐标元组，这个方法能找到图的前提是所传路径图和桌面图完全一致，即必须100%匹配，这是一个缺点也是优点，例如找桌面图标，我图标换个地方摆，它可能就找不到了，因为背景变了。
基于python下selenium库实现交互式图片保存操作（批量保存浏览器中的图片）
a486259的博客
02-10 4288
Selenium是最广泛使用的开源Web UI（用户界面）自动化测试套件之一，可以通过编程与浏览量的交互式操作对网页进行自动化控制。基于这种操作进行数据保存操作，尤其是在图像数据的批量保存上占据优势。本博文基于selenium 与jupyterlab实现批量保存浏览器搜索到的图片 Selenium的详细使用可以参考：https://blog.csdn.net/sinat_28631741/article/details/115634230
根据颜色识别截取相应的图像
m0_57236802的博客
02-24 505
首先，使用 pyautogui.screenshot() 函数获取整个屏幕的截图，并将其转换为 PIL 图像对象。接下来，可以使用 NumPy 数组的 where() 函数查找符合条件的像素坐标，并将其保存为 PIL 图像对象。在代码中，np.all(img_array == [255, 0, 0], axis=-1) 表示查找所有 RGB 值为 [255, 0, 0] 的像素，即红色像素。值得注意的是，对于较大的屏幕截图，像素数量可能非常大，可能会导致内存问题。
基于OpenCV 在python中实现图像自动检测+手动截图
Only_first1的博客
06-09 3439
在python中实现基于OpenCV的批量图像检测+手动截图，以此完成工业或实际问题中的分类问题或自动化流水线工程。
python图像检索
qq_40660984的博客
06-06 1420
关于图像检索一、Bag of features算法二、算法流程三、实验过程四、实验存在问题 一、Bag of features算法 此算法的思想是在我们先做一个数据集，然后找到图像中的关键词，这些关键词必须具备较高的区分度，最主要的操作就是提取sift特征，然后对这些特征点进行聚类算法，然后得到聚类中心，聚类中心就具有很高的代表性，这些聚类中心形成字典，然后自取一张图片，进行sift特征提取，就可以在字典里找到最相似的聚类中心，统计这些聚类中心出现的次数，然后就直方图表示出来，对于不同类别的图片，就可以训练

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

季布，

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值