目标检测-爬虫-利用百度识图的方法来批量的爬取图片生产数据集

最新推荐文章于 2024-05-08 01:45:28 发布
最新推荐文章于 2024-05-08 01:45:28 发布
阅读量3.4k 收藏 28
点赞数 7
分类专栏： 目标检测 数据集 小工具 文章标签： selenium python 神经网络 深度学习 tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ai_faker/article/details/107919205
版权
目标检测 同时被 3 个专栏收录
23 篇文章 6 订阅
订阅专栏
小工具
13 篇文章 1 订阅
订阅专栏
数据集
7 篇文章 37 订阅
订阅专栏

在百度图识图爬取自己想要的数据集

1. 问题描述

最近在做一个关于垃圾的目标检测问题，在部署训练时需要大量的各种各样的垃圾数据集，那么我想到了网上搜索+拍照+爬虫的方式来获取数据集，而在我的上一篇博客 目标检测-用爬虫爬取百度图库获得自己想要的图片数据集-python代码，给出了利用百度图库关键字爬取图片的方法。但是经过测试，爬到的数据很多是不能用的，图像千奇百怪，每100张大概只有20张左右是有效的。于是想到了利用百度识图来搜取相关的数据集。

2.准备工作

因为用到了 selenium模块，所以需要用到webdriver，这里我的是谷歌浏览器，所以用的是chromedriver 模块。

2.1chromedriver配置

1).打开chrome 输入 “chrome://version/”来查看chrome版本 如图我的是83.0
在这里插入图片描述
2).访问此网站 谷歌浏览器驱动 然后选择合适版本的driver

比如找到我的83
在这里插入图片描述
点击进入找到对应的系统，比如我是在linux系统下就选择linux，如下
在这里插入图片描述

点击notes.txt就可查看其对应的版本号
如果符合就可以下载了，下载到自己指定位置然后就可以进行配置了。（这里后面会讲）

2.2项目构成

– -- --识图项目文件夹
|–seed_imgs
| --similar_search-result
|–baidu_image_search_demo.py
seed_imgs_dir中放一些收集所有想要用来搜索相似图片的原始图片
similar_search-result为空，为识图的存储结果

3.该工具代码

该工具百度网盘地址：[百度识图爬虫工具] ac13

为防止百度云失效，你只需按如上项目构成方式搭建项目即可。主要的py代码如下

# -*- coding: utf-8 -*-
"""
Created on Sun Sep 15 20:24:25 2019

这是一个借助百度识图功能获取大量相似图片的示例程序

如果你不了解百度识图，不妨尝试使用下：
https://graph.baidu.com/pcpage/index?tpl_from=pc

本程序的大致思路如下：
seed_imgs中放置想要搜索相似图的原始图片
程序将会依次获取seed_imgs中的图片作为搜索种子，
借助爬虫来模拟使用百度识图的过程，达到自动化搜索大量相似图片的目的
搜索的结果将会保存在similar_search_result中

使用方法如下：
1.准备种子图片
收集所有想要用来搜索相似图片的原始图片，放置在seed_imgs中
2.使本地图片可以被url访问
将seed_imgs中的图片做成可供外界访问的url形式，你可以使用任何可能的方法
例如我的解决办法是将这些图片上传到github上，将github作为一个临时的图床使用
根据你制作的图床的url前缀，修改变量base_url
3.安装chromedriver
教程: https://www.jb51.net/article/162903.htm
查看谷歌浏览器版本命令: chrome://version/
下载链接（需选择对应版本） http://chromedriver.storage.googleapis.com/index.html
4.运行本程序，耐心等待

"""
import os
import cv2
import time
import requests
import numpy as np
from selenium import webdriver


# TODO: set parameters
# These two parameters needs to be modified according to your actual situation.
chrome_driver_path = '/home/cheng/Downloads/chromedriver'
base_url = 'https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3402176288,1135588067&fm=26&gp=0.jpg'

home_page = 'https://graph.baidu.com/pcpage/index?tpl_from=pc'
seed_imgs_dir = 'seed_imgs'
save_dir = 'similar_search_result'



def prepare_seed_imgs():
    seed_imgs_url_list = []
    save_dir_list = []
    for file_name in os.listdir(seed_imgs_dir):
        cur_url = base_url + file_name
        seed_imgs_url_list.append(cur_url)
        
        base_file_name = file_name[:-4]
        cur_save_dir = os.path.join(save_dir, base_file_name)
        if not os.path.exists(cur_save_dir):
            os.mkdir(cur_save_dir)
        save_dir_list.append(cur_save_dir)
    return seed_imgs_url_list, save_dir_list


def search_similar_images(browser, image_url, max_page):
    print("start find similar image of {}".format(image_url))
    
    search_failed = True
    try_num = 0
    while(search_failed):
        if try_num >= 3:
            break
        try:
            browser.get(home_page)
            
            # 拖拽图片到此处或粘贴图片网址
            url_upload_textbox = browser.find_element_by_css_selector('#app > div > div.page-banner > div.page-search > div > div > div.graph-search-left > input')
            url_upload_textbox.send_keys(image_url)
        
            # 识图一下
            search_image_button = browser.find_element_by_css_selector('#app > div > div.page-banner > div.page-search > div > div > div.graph-search-center')
            search_image_button.click()
        
            # 等待百度识图结果
            time.sleep(15)
        
            # 切换到当前窗口(好像可有可无)
            browser.current_window_handle
        
            # 测试是否成功
            graph_similar = browser.find_element_by_class_name('graph-similar-list')
            
            # 运行到这里说明模拟使用百度识图功能成功，页面已正常加载
            search_failed = False
        except Exception as e:
            #print("ERROR:" + traceback.format_exc())
            print("ERROR: error when request baidu image search.")
        finally:
            try_num += 1

    if search_failed:
        print("give up current image")
        return []

    # 动态加载max_page次页面
    download_page = 0
    print("dynamic loading web page...")
    while download_page < max_page:
        # 模拟向下滑动滚动条动态加载
        browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        # 等待滚动条10s
        time.sleep(10)
        download_page += 1

    # 解析页面中的所有url
    graph_similar = browser.find_element_by_class_name('graph-similar-list')
    left_column = graph_similar.find_element_by_css_selector('div > div:nth-child(1)')
    middle_column = graph_similar.find_element_by_css_selector('div > div:nth-child(2)')
    right_column = graph_similar.find_element_by_css_selector('div > div:nth-child(3)')

    left_column_imgs = left_column.find_elements_by_tag_name('a')
    middle_column_imgs = middle_column.find_elements_by_tag_name('a')
    right_column_imgs = right_column.find_elements_by_tag_name('a')
    
    url_list = []
    for img_box in left_column_imgs:
        img_url = img_box.find_element_by_tag_name('img').get_attribute('src')
        url_list.append(img_url)
    for img_box in middle_column_imgs:
        img_url = img_box.find_element_by_tag_name('img').get_attribute('src')
        url_list.append(img_url)
    for img_box in right_column_imgs:
        img_url = img_box.find_element_by_tag_name('img').get_attribute('src')
        url_list.append(img_url)
        
    total_imgs_num = len(left_column_imgs) + len(middle_column_imgs) + len(right_column_imgs)
    print("totally fing {} images.".format(total_imgs_num))
    return url_list


def download_search_images(url_list, cur_save_dir):
    print("start downloading...")
    for img_url in url_list:
        try:
            response = requests.get(img_url, timeout=1)
        except Exception as e:
            print("ERROR: download img timeout.")
        
        try:
            #imgDataNp = np.fromstring(response.content, dtype='uint8')
            imgDataNp = np.frombuffer(response.content, dtype='uint8')
            img = cv2.imdecode(imgDataNp, cv2.IMREAD_UNCHANGED) 
            
            img_name = img_url.split('/')[-1]
            save_path = os.path.join(cur_save_dir, img_name)
            cv2.imwrite(save_path, img)
        except Exception as e:
            print("ERROR: download img corruption.")



if __name__ == "__main__":
    browser = webdriver.Chrome(executable_path=chrome_driver_path)
    browser.set_page_load_timeout(30)

    seed_imgs_url_list, save_dir_list = prepare_seed_imgs()
    
    for idx, seed_url in enumerate(seed_imgs_url_list):
        print(idx)
        
        # 获取百度识图结果
        url_list = search_similar_images(browser, seed_url, max_page=30)
        
        if len(url_list) == 0:
            continue
        
        # 下载图片
        cur_save_dir = save_dir_list[idx]
        download_search_images(url_list, cur_save_dir)

打开后进入py文件有几个需要改的地方

chrome_driver_path = '/home/cheng/Downloads/chromedriver'
base_url = 'https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3402176288,1135588067&fm=26&gp=0.jpg'

home_page = 'https://graph.baidu.com/pcpage/index?tpl_from=pc'
seed_imgs_dir = 'seed_imgs'
save_dir = 'similar_search_result'

chrome_driver_path 改成之前我们下载的地址。
seed_imgs_dir中放一些收集所有想要用来搜索相似图片的原始图片
base_url将seed_imgs中的图片做成可供外界访问的url形式，你可以使用任何可能的方法，例如我的解决办法是将这些图片上传到csdn上，将csdn作为一个临时的图床使用，根据你制作的图床的url前缀，修改变量base_url。

4.耐心等待

本程序运行时间有一定的延迟，请耐心等待
在这里插入图片描述
我自己等了大概3分钟。。。反正只要出现 start 和 dynamic loading web page 一般就成功了 慢慢等就行
完成
在这里插入图片描述

orangezs
关注
  • 7
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 24
    评论
专栏目录
Python——百度识图-相似图片爬虫下载解决方案
Prince的博客
09-20 225
python爬取百度图片
爬虫爬取的数据集（一）
06-08
爬取Microsoft Bing上的10类花卉数据集，没有统一尺寸数据量较大，分两批次。
最全使用urllib3爬取百度图片——附带一般爬虫开发流程讲解！，2024年最新头条hr面试
最新发布
m0_58269070的博客
05-08 274
现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。
（五）爬取项目数据集
Simonsdu的博客
11-01 878
2021SC@SDUSC 简介 根据项目进度安排，需要爬取百度学术生成数据集来测试不同模型的性能表现。然而在实际爬取时遇到了例如页面重复、页面无法访问等问题。 页面重复问题描述及解决方案 在爬取结束后发现出现了大量的重复页面，一方面浪费了大量时间，另一方面去重需要花费额外的经历。起初，我尝试将页面的第一篇论文题目作为该页面的唯一标识，通过集合来去重，然而这种方式依然无法避免时间浪费的问题。 通过对于算法和百度文库的进一步分析，问题源头逐渐浮出水面。在最初的爬虫程序中有一个page_num参数，表示期望爬取的
动手制作自己的图片分类数据集
qq_42276154的博客
07-09 973
在使用深度学习进行图片分类任务时, 往往都是用PyTorch进行模型搭建等操作. 如果需要进行的训练任务有现成的图片库, 那么如何将图片变成可以被PyTorch平台所承认的数据集呢?这就需要自己创建可用的数据集, 就像很多案例中使用PyTorch自带的MNIST, Fashion-MNIST等数据集一样.
用python将照片做成数据集_利用python爬取特定类别图片---labelimg制作自己的目标检测数据集...
weixin_39957318的博客
11-30 952
最近一直在学习神经网络，一方面是课题需要，另一方面是因为机器学习已经逐渐成为社会的潮流，各行各业都可以见到神经网络的应用，不学习一下都觉得自己落伍了。趁着这段时间没办法开学，好好学习了一些神经网络的基础内容，也试着把神经网络运用到自己的课题中来，今天在试验SSD目标检测网络的时候，发现要制作自己的训练集首先需要有训练的图片，可是一张一张找实在麻烦，找到了，逐个保存，最好还要改成统一的名称。百度找图...
爬虫实战入门级教学（数据爬取-＞数据分析-＞数据存储）
qq_40898461的博客
04-18 3552
爬虫实战入门级教学（数据爬取->数据分析->数据存储），使适用于不懂爬虫的新用户快速上手
人民日报的爬取数据集-爬虫 自然语言处理
04-05
人民日报的爬取数据集
python爬虫批量爬取百度图片
12-22
#最好用的一个 ...# 百度图片URL解码 # http://blog.csdn.net/hbuxiaoshe/article/details/44780653 str_table = { '_z2C$q': ':', '_z&e3B': '.', 'AzdH3F': '/' } char_table = { 'w': 'a', 'k': 'b',
Python3爬虫学习-爬取图片批量下载 XPATH
01-21
最近在研究爬虫，爬取好多网站的数据，下面就以爬取图片网站照片为例，来让大家学习，希望大家多交流。总的来说爬虫不难，会python的简单语法，会xpath提取网页需要的信息，就可以很快的爬取网站的图片，同时也希望...
70 - Python 网络爬虫案例 - 爬取百度图片
08-05
Python 网络爬虫案例 —— 爬取百度图片
python爬虫数据集
04-21
使用爬虫爬取了4000条数据，以及在百度上搜索信息的整理，得出的一些结论，其实也没啥用，50个字好难。
批量下载百度搜索图片+labelimg制作自己的数据集+转换至Yolo-v5训练数据集
qq_36071362的博客
11-29 8984
由于课题需要，需要自己制作数据集进行训练，目前是自己制作的第二个数据集，发现有某些细节已经忘记，记录备忘，同时为后来者提供借鉴。文章以car-tank数据集做为例子介绍 整体流程： 1.准备数据：从各种途径获取原始数据，博主的car-tank原始数据是在网上搜索然后批量保存的 2.标注数据：使用labelimg标注软件标注数据，最终得到images、label文件 3.分配数据转换格式：label标注的标签文件为xml文件，需要划分数据集，并转换到txt格式 4.修改yolo-v5代码...
Python爬虫扫盲篇——如何批量采集网站中的图片数据
weixin_43770993的博客
05-12 1960
这个呢也算是鄙人的一个失误，仅仅是在最后的scrapy中体现了图片的采集，还是用已经封装好的图片管道来实现的，所以导致了一些从来没有接触过爬虫相关的朋友出现了这样的疑惑，那么今天我们就来为这些存在相同困惑的朋友来扫扫盲。首先，图片是什么，究其本质来看的话，图片就是文件的一种表现形式，那么在网络传输过程中，文件的传输与文本的传书是存在着一定的区别的。而且这个URL是有一个jpg扩展的，所以十有八九这就是这张图片的地址，我们来验证一下，将这个url复制下来去访问一下。首先，构造主页访问的请求，并实现翻页操作。
Python数据爬虫教程（非常详细）从零基础入门到精通，看完这一篇就够了
热门推荐
xx16755498986的博客
08-10 1万+
Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。: 负责Spider、ItemPipeline、Downloader、Scheduler 中间的通讯，信号、数据传递等。: 它负责接受引擎发送过来的Request请求，并按照一定的 方式进行整理排 列，入队，当引擎需要时，交还给引擎。
想要高效爬取数据？五种Python爬虫方式全解析！
xiaoganbuaiuk的博客
11-01 4745
本文将介绍五种常见的爬虫方式，分别是：基于 Python 的 Requests 库、基于 Python 的 Scrapy 框架、基于 Node.js 的 Express 框架、基于 Node.js 的 Cheerio 库和基于 Java 的 WebMagic 框架。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。此外，Scrapy 的文档和社区支持相对较弱，这也是需要考虑的一个因素。
利用爬虫爬取数据集
m0_58775709的博客
04-03 4146
相信大家在学习tensorflow的过程中，会想要自己动手来试试加载我们的数据集，而不再局限于从datasets上下载数据集。但是往往一个模型的训练就需要很庞大的数据集，因此写下这篇博客教大家如何用爬虫爬取图片，制作自己的数据集，本博客只教大家爬取原始图片数据，数据增强方面博主会再写一篇博客教大家常用的一些图片处理方法。 博主用的是pycharm2021.3，谷歌浏览器，第三方库文件如下。 import requests from selenium import webdriver from sele
目标检测-用爬虫爬取百度图库获得自己想要的图片数据集-python代码
ai_faker的博客
08-07 2185
在百度图片中爬取自己想要的数据集 如果你复制了此代码，能不能给我点个赞！ 1.问题描述 最近在做一个垃圾分类的项目，需要大量的数据集，自己拍又太麻烦，于是想到了利用百度图片来根据关键字查找生产自己要想的图片数据集 2.代码 两个代码功能一样的，2的话爬的速度更快，但是会导致部分图片无法正常打开 基本的注释我都有在代码中补充 2.1爬虫代码1 import requests import os def getManyPages(keyword, pages): params = [] fo
轻松爬取跨境电商商品数据集
qq_46158060的博客
02-27 1804
这些数据包括但不限于商品名称、价格、描述、用户评价、分类标签、卖家信息、销售量、库存量、图片链接等。4、我们以亚马逊为列，上面这张图片就可以看到，亚马逊商品、亚马逊评分超过4.5的商品、亚马逊在USA的评论商品，以及下面展示的亚马逊畅销商品、最受好评的产品。5、通过分析这些数据，我们可以快速定位自己的定价策略、消费者群体，你只需要跟着最火爆的那几个商家模仿去做，我们可以下载对应的CSV或者JSON格式的数据集，通过python进行数据分析去筛选。：研究目标市场的文化、习惯、购买行为和法规。
python爬虫抓取图片-简单的python爬虫教程：批量爬取图片
05-19
好的，下面是一个简单的 Python 爬虫教程，可以批量爬取指定网站的图片： 首先，我们需要安装 requests 和 BeautifulSoup 这两个库。可以通过以下命令进行安装： ``` pip install requests pip install beautifulsoup4 ``` 接下来，我们需要编写代码。以下是一个示例代码，可以爬取指定网站的图片并保存到本地： ```python import requests from bs4 import BeautifulSoup import os # 爬取图片的网站 url = "https://www.example.com/" # 请求头，模拟浏览器访问 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"} # 发送请求，获取网页内容 response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") # 创建保存图片的文件夹 if not os.path.exists("images"): os.makedirs("images") # 遍历所有的图片标签，获取图片链接并保存到本地 for img in soup.find_all("img"): img_url = img.get("src") if img_url.startswith("http"): response = requests.get(img_url) with open("images/" + os.path.basename(img_url), "wb") as file: file.write(response.content) print("已保存图片：", img_url) ``` 在上述代码中，我们首先定义了要爬取的网站的 URL。然后，我们使用 requests 库发送一个 GET 请求，获取网页的 HTML 内容。接着，我们使用 BeautifulSoup 库对 HTML 进行解析，获取所有的图片标签。最后，我们使用 requests 库再次发送 GET 请求，获取图片的二进制数据，并保存到本地的 images 文件夹中。 注意，这里我们使用了一个 if 判断来过滤掉非 HTTP 开头的图片链接，以避免出现下载错误的情况。 为了更好的用户体验，代码中还加入了一些注释，方便大家理解。 希望这个简单的 Python 爬虫教程能对你有所帮助！
评论 24
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值