删除数据集中多余的图片

最新推荐文章于 2024-08-28 16:14:15 发布
最新推荐文章于 2024-08-28 16:14:15 发布
阅读量393 收藏 1
点赞数 1
分类专栏： python 笔记 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Daish9898/article/details/116698476
版权 
import os
dataset_root_path = ''        #数据集地址
imglist = os.listdir(dataset_root_path)
d = 0
for item in imglist:
    if item.endswith('.jpg'):
        if item and f'{item[:-4]}.json' in imglist:
            print(d)
            d+=1
        else:
            c = dataset_root_path + item
            os.remove(c)
花開兩朵
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
对比xml、图片文件夹批量删除多余图片并找到缺失图片（python）
wuzhihuaw的博客
02-22 1026
问题：做深度学习，标注的xml和图片文件夹不对应往往会造成程序的 报错，因此将其对应十分有必要 代码： #导入python库 import glob import xml.etree.ElementTree as ET import os import cv2 import numpy as np from PIL import Image from io import BytesIO #读取jpg文件存入列表 dir_xml_path ="H:/wuzhihua/VOCdevkit/VOC2007/An
数据预处理之图像去空白
qq128252的博客
02-09 1779
图像去空白是指在图像处理中去除图像中的空白区域的过程。空白区域通常是指图像中的白色或其他颜色，其不包含有用的信息。去空白的目的是为了节省存储空间、提高图像处理速度、改善图像质量等。去空白的方法有很多，其中一些常见的方法包括边缘检测、阈值处理、图像剪切和形态学处理。每种方法都有其特定的优势和局限性，因此通常需要结合使用多种方法，以便获得最佳效果。
python判断图片长宽后删除数据集中的小图片
qq_43555843的博客
04-23 324
import os from PIL import Image path = r'C:\study_he\Nestle45'#数据集的地址 for root, dirs, files in os.walk(path): for name in files: fileName =os.path.join(root, name) fp = open(fileName, 'rb') im = Image.open(fp) fp.close()
全黑图像去除
weixin_34391854的博客
03-16 341
本系列文章由 @yhl_leo 出品，转载请注明出处。 文章链接： http://blog.csdn.net/yhl_leo/article/details/50904358 昨天一个朋友，向我求助，帮忙去除掉一组遥感影像数据中，因为裁剪时产生的全黑图像，实现起来也很简单，就将工程代码提供给大家： GitHub链接：yhlleo/ImageFormatCo...
数据集检查，去除多余的标签或图片
BABABSBC的博客
03-12 888
数据集标签和图片数量不对应
爬虫—图片 - Pixabay
JHTSunshine的博客
03-26 1306
https://pixabay.com/#coding : utf -8import requests from lxml import etree import time import urllib def Full_url(): full_link = [] for i in range(1,166): full_link.append("https://pixa
目标检测实用小工具！移除数据集中多余的标注信息或是图片
08-20
大家在目标检测时又有遇到这样的困难，经常数据集中的图片名和对应的标注信息不对等，在网络训练过程中造成没必要的错误，手工筛查真的很麻烦，使用这个脚本就可将两个问价夹中多出来的标注信息和图片进行删除，只需...
马萨诸塞州（Massachusetts）数据集，删除低质量、空白图片后的数据集
11-21
在这个精简版的马萨诸塞州数据集中，只保留了`train`子文件夹，这表明它可能仅包含训练集，没有划分出验证集。用户在实际使用时，可能需要自行划分一部分数据作为验证集，以监控模型的训练效果。 此外，对于深度...
计算机视觉之图像数据集：食物图片数据集
02-03
在这个食物图片数据集中，每一张图片代表一种特定的食物类型，这使得模型可以学习到各种食物的视觉特性，如形状、颜色、纹理等。数据集的多样性（423种食物）确保了模型在遇到新的食物图片时也能有较好的泛化能力。 ...
Android异步加载数据和图片的保存思路详解
09-02
- `getItem()`：根据索引获取数据集中的对象。 - `getItemId()`：通常返回对应索引的值。 - `getView()`：此方法负责为ListView的每个条目创建或复用View，并填充数据。在这里，使用convertView进行视图复用，减少...
2021-12-09把文件夹1中的与文件夹2里同名图片删除或者保存至另一个文件夹
橙子Blue不加冰
12-09 781
如果文件夹1（大）的里面包含了与文件夹2（小）的同名图片： # !/usr/bin/env python # encoding: utf-8 import os import glob from PIL import Image #指定找到文件后，另存为的文件夹路径 outDir = os.path.abspath('G:/2.pe666/yibiaozhu') #指定第一个文件夹的位置 imageDir1 = os.path.abspath('G:/2.pe666/image') #文件夾1 大
centos7 安装 superset4.0.2 教程
m0_37759590的博客
08-27 7157
centos7 安装 superset4.0.2 教程
【python计算机视觉编程——1.基本的图像操作和处理】
热门推荐
m0_53694086的博客
08-26 1万+
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
python12 中，No module named‘distutils‘错误
qq_43557600的博客
08-27 7349
python12 “ No module named'distutils' ”,​ 安装 pip install setuptools ，解决 ​
Python优化算法09——黏菌优化算法(SMA)
weixin_46277779的博客
08-24 3678
python黏菌优化算法代码和使用
【python】关于判断空值None、判断len()=0，和 if not 的区别
最新发布
Meggie35的博客
08-28 3392
python的“空”与“无”之辩，关于None，和空数值。在程序中，判断里面没有值和判断东西是不是为空，也是不一样的东西，我们可以往下看看具体的区别。
均值漂移算法原理及Python实践
u013571432的博客
08-25 3580
均值漂移算法（Mean Shift Algorithm）是一种基于密度的非参数聚类算法，其原理主要基于核密度估计和梯度上升方法。
odoo SyntaxWarning: invalid escape sequence ‘\w‘
fqfq123456的专栏
08-25 2141
‌如果你在处理正则表达式，‌通常使用原始字符串更为方便，‌因为正则表达式中经常使用反斜杠，‌而原始字符串可以避免很多转义相关的问题。函数（‌或任何类似的自定义警告处理函数）‌会在你的代码或你使用的库中遇到需要警告用户的情况时被调用。‌：‌如果代码中存在可能导致错误或意外行为的潜在问题，‌开发者可能会使用警告来提醒用户注意。‌：‌在处理可能涉及安全风险的操作时，‌软件可能会使用警告来提醒用户注意潜在的安全问题。‌：‌当代码使用了即将被弃用或已经弃用的功能时，‌库可能会调用警告函数来通知用户。
opencv 利用哈希值算法大批量删除数据集中重复的图片
07-12
你可以使用哈希值算法来检测和删除数据集中的重复图片。一种常用的哈希算法是感知哈希算法（Perceptual Hashing），它可以将图片转换成一个唯一的哈希值。以下是使用OpenCV和Python进行大批量删除重复图片的基本步骤： 1. 导入所需的库： ```python import os import cv2 import imagehash from PIL import Image ``` 2. 定义一个函数来计算图片的哈希值： ```python def calculate_hash(image_path): image = Image.open(image_path) image_hash = imagehash.average_hash(image) return str(image_hash) ``` 3. 创建一个空字典来存储每个哈希值及其对应的图片路径： ```python hash_dict = {} ``` 4. 遍历数据集中的每张图片，计算其哈希值，并将哈希值及其对应的图片路径存储在字典中： ```python dataset_path = 'your_dataset_path' for root, dirs, files in os.walk(dataset_path): for file in files: image_path = os.path.join(root, file) image_hash = calculate_hash(image_path) if image_hash in hash_dict: hash_dict[image_hash].append(image_path) else: hash_dict[image_hash] = [image_path] ``` 5. 遍历字典中的每个哈希值，如果该哈希值对应的图片路径数量大于1，则删除重复图片（保留一张即可）： ```python for image_hash, image_paths in hash_dict.items(): if len(image_paths) > 1: for i in range(1, len(image_paths)): os.remove(image_paths[i]) ``` 注意：在删除图片之前，请务必备份你的数据集，以防止误删。 这是一个基本的示例，你可以根据自己的需求进行相应的修改和优化。希望能对你有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值