数据处理-VOC数据集中提取需要的类别数据

个人微信公众号:AI研习图书馆,欢迎关注~

深度学习知识及资源分享,学习交流,共同进步~

一、项目介绍

VOC2007或VOC2012数据集提取自己需要的类的图片和对应的xml标签,可用于具体类别得目标检测,如行人检测,也可以作为图像识别任务数据来源。

二、代码实现

1. Python语言实现

以python语言实现,以person类为例,可用于行人检测~

import os
import os.path
import shutil
   
fileDir_ann = r'/home/somnus/tttt/VOC2012/Annotations/'
fileDir_img = r'/home/somnus/tttt/VOC2012/JPEGImages/'
  
#存放包含需要的类的图片
saveDir_img = r'/home/somnus/tttt/VOC2012/JPEGImages_ssd/'
         
if not os.path.exists(saveDir_img):
    os.mkdir(saveDir_img)
  
 
names = locals()
  
for files in os.walk(fileDir_ann):
    #遍历Annotations中的所有文件
    for file in files[2]:
        print file + "-->start!"
  
        #存放包含需要的类的图片对应的xml文件
        saveDir_ann = r'/home/somnus/tttt/VOC2012/Annotations_ssd/'
  
        if not os.path.exists(saveDir_ann):
            os.mkdir(saveDir_ann)
        fp = open(fileDir_ann + file)      
        saveDir_ann = saveDir_ann + file
        fp_w = open(saveDir_ann, 'w')
        classes = ['aeroplane','bicycle','bird','boat','bottle','bus','car','cat','chair','cow','diningtable',\
                   'dog','horse','motorbike','pottedplant','sheep','sofa','train','tvmonitor','person']
  
        lines = fp.readlines()
  
        #记录所有的\t<object>\n的位置
        ind_start = []
  
        #记录所有的\t</object>\n的位置
        ind_end = []
  
        lines_id_start = lines[:]
        lines_id_end = lines[:]
  
        while "\t<object>\n" in lines_id_start:
            a = lines_id_start.index("\t<object>\n")
            ind_start.append(a)
            lines_id_start[a] = "delete"
  
        while "\t</object>\n" in lines_id_end:
            b = lines_id_end.index("\t</object>\n")
            ind_end.append(b)
            lines_id_end[b] = "delete"
  
        for k in range(0,len(ind_start)):
            for j in range(0,len(classes)):
                if classes[j] in lines[ind_start[k]+1]:
                    a = ind_start[k]
                    names['block%d'%k] = lines[a:ind_end[k]+1]
                    break
        #需要的类
        classes1 = '\t\t<name>person</name>\n'
  
        string_start = lines[0:ind_start[0]]
        string_end = lines[ind_end[-1] + 1:]
  
        a = 0
        for k in range(0,len(ind_start)):
            if classes1 in names['block%d'%k]:
                a += 1
                string_start += names['block%d'%k]
  
        string_start += string_end
        for c in range(0,len(string_start)):
            fp_w.write(string_start[c])
        fp_w.close()
  
        if a == 0:
            os.remove(saveDir_ann)
        else:
            name_img = fileDir_img + os.path.splitext(file)[0] + ".jpg"
            shutil.copy(name_img,saveDir_img)
        fp.close()

更多精彩,请关注个人微信公众号,获取更多代码和深度学习项目~

公众号:AI研习图书馆~

在这里插入图片描述

  • 3
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
VOC数据集是图像识别领域常用的一个数据集,包含大量的图像和相应的标注信息。对于VOC数据集进行数据清洗的目的是为了提高数据的质量和可用性,以便于后续的模型训练和评估。 数据清洗的过程可以包括以下几个步骤: 1. 去除无效样本:VOC数据集可能包含一些无效的样本,例如图像质量较差或者标注信息有误的样本。我们可以通过图像质量评估算法或人工检查的方式去除这些无效样本,确保我们所使用的数据质量较高。 2. 标注一致性检查:VOC数据集的标注信息包括目标的类别和位置信息,这些信息应该是一致的。在数据清洗过程,我们可以检查每个图像对应的标注信息,确保类别标签的正确性和位置信息的一致性。如果发现错误的标注信息,我们可以进行修正或删除。 3. 处理类别不平衡:VOC数据集类别分布可能不均衡,导致模型在训练和评估过程对少类别的识别效果较差。在数据清洗过程,我们可以通过增加或删除样本的方式来调整类别的分布,达到更好的平衡。 4. 去除重复样本:VOC数据集可能存在重复的样本,这些重复的样本会导致训练和评估过程的偏差。在数据清洗过程,我们可以通过图像哈希算法或者特征提取算法对样本进行去重,确保每个样本只在数据集出现一次。 在VOC数据集数据清洗过程,我们需要结合自动化的工具和人工的验证,对数据进行细致的检查和修正。只有经过充分的数据清洗,才能得到高质量的数据集,并且能够得到准确可靠的模型训练和评估结果。
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI研习图书馆

您的鼓励将是我创作的最大动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值