这是下载下来的原始数据集,可以看到图片和标注文件是放在一起的。 所以第一步要将它分开拆成images和mask
我使用的是如下代码分成图片和标签文件。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import os
import shutil
def deal_file(src, s1, s2):
# 区分xml和jpg
xml = [] #储存所有xml文件的路径
jpg = [] #储存所有Jpg文件的路径
#1.遍历需要分离的文件夹
for f in os.listdir(src):
if f.endswith('.xml'):
xml.append(f)
elif f.endswith('.jpg'):
jpg.append(f)
# 2.创建目标图片和标签的文件夹
if not os.path.isdir(s1):
os.mkdir(s1)
if not os.path.isdir(s2):
os.mkdir(s2)
# 3.拷贝文件到目标文件夹
for x in xml:
xml_1 = os.path.join(src, x)
shutil.copy(xml_1, s1)
for j in jpg:
jpg_2 = os.path.join(src, j)
shutil.copy(jpg_2, s2)
if __name__ == "__main__":
file = "C:/Users/13258/Desktop/yolo/transmission channels/" #相对路径
src = os.path.join(file, 'train') #需要分离的文件
s1 = os.path.join(file, 'data_mask')
s2 = os.path.join(file, 'data_image')
deal_file(src, s1, s2)
注意,这里相对路径得是原数据集的路径,在原数据集的同级目录下,会生成处理后的data_mask, data_image
之后,在data目录下新建dataset文件,并新建Annotations, images, ImageSets 和labels, 分别存放xml数据,图片,划分的训练集/测试集/验证集,以及最终转换的txt文件。
首先将刚刚切开的xml和图片分别拷贝到本地yolo模型文件夹下的data/dataset/Annotations路径和data/dataset/images里。
打开Pycharm,此时里面的两个文件下也已经有了xml文件和图片。
接下来需要创建三个文件,分别是:
divida.py //划分训练集、验证集、数据集
voc_labels_conversion.py //将xml文件转换成txt文件
voc_labels_count.py //计算xml文件里的标签类别和数量
首先是divida.py (突然发现这个a是我拼错了,所以奇怪的文件名+1),注释很详尽,不用多说
import os
import random
trainval_percent = 0.2
train_percent = 0.8
# *******************************自己创建文件夹dateset************************
# xml放在了Annotations里
# 图片放在了Image
# ImageSets用于存放训练数据集和测试数据集的分类情况-目前空
# labels存放供yolo使用的归一化txt文件-目前空
xmlfilepath = 'dataset/Annotations'
txtsavepath = 'dataset/ImageSets'
total_xml = os.listdir(xmlfilepath) #读取文件夹下的所有xml文件
num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent) #计算训练集+验证集的数量
tr = int(tv * train_percent) #计算训练集的数量
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)
ftrainval = open('dataset/ImageSets/trainval.txt', 'w')
ftest = open('dataset/ImageSets/test.txt', 'w')
ftrain = open('dataset/ImageSets/train.txt', 'w')
fval = open('dataset/ImageSets/val.txt', 'w')
#***********************划分流程************************************
# 理解上有一个重点,上述代码并未划分验证集,
# 但是下列判断语句通过判断i是否不在trainval中,来划分测试集
# 通过判断i是否在train中,划分训练集
# 剩下的便是验证集
# 好巧妙qaq
for i in list:
name = total_xml[i][:-4] + '\n'
if i in trainval:
ftrainval.write(name)
if i in train:
ftest.write(name)
else:
fval.write(name)
else:
ftrain.write(name)
ftrainval.close()
ftrain.close()
fval.close()
ftest.close()
下一个是voc_labels_count.py,说到这个就很气,赛题很狗。我想看看题目有没有给隐患类别,一看,噢,写了四个,但还有个等,我就乖乖去找到底几个标签。
结果代码跑出来一看——
怒!就是这四个!!
所以……其实也不用跑这个代码,但是我建议还是跑一下……万一——
“你的data我的data好像不一样~”
import xml.etree.ElementTree as ET
import os
from collections import Counter
xml_position = r'C:\Users\13258\Desktop\yolo\transmission channels\data_mask'
# 放置xml的路径,改成自己的
xml_name = os.listdir(xml_position)
hyj = []
hyj2 = []
for i in xml_name:
xml_position1 = os.path.join(xml_position, i)
position = ET.parse(xml_position1)
root = position.getroot()
picture_name = root.find('filename').text
hyj.append(picture_name)
label_name = root.findall('object/name')
for i in label_name:
hyj2.append(i.text)
label_counts = Counter(hyj2)
print("标签统计:")
for label, count in label_counts.items():
print(f"{label}: {count}")
print(len(hyj))
##transmission_labels_sum = 685
##transmission_labels = trash, kite, nest, ballon
最后是voc_labels_conversion.py, 也很详细。跟看全翻译的英文书似的。
# xml解析包
import xml.etree.ElementTree as ET
import pickle
import os
# os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表
from os import listdir, getcwd
from os.path import join
sets = ['train', 'test', 'val']
classes = ['trash', 'kite', 'nest', 'ballon']
# 进行归一化操作
def convert(size, box): # size:(原图w,原图h) , box:(xmin,xmax,ymin,ymax)
dw = 1./size[0] # 1/w
dh = 1./size[1] # 1/h
x = (box[0] + box[1])/2.0 # 物体在图中的中心点x坐标
y = (box[2] + box[3])/2.0 # 物体在图中的中心点y坐标
w = box[1] - box[0] # 物体实际像素宽度
h = box[3] - box[2] # 物体实际像素高度
x = x*dw # 物体中心点x的坐标比(相当于 x/原图w)
w = w*dw # 物体宽度的宽度比(相当于 w/原图w)
y = y*dh # 物体中心点y的坐标比(相当于 y/原图h)
h = h*dh # 物体宽度的宽度比(相当于 h/原图h)
return (x, y, w, h) # 返回 相对于原图的物体中心点的x坐标比,y坐标比,宽度比,高度比,取值范围[0-1]
# year ='2012', 对应图片的id(文件名)
def convert_annotation(image_id):
'''
将对应文件名的xml文件转化为label文件,xml文件包含了对应的bunding框以及图片长款大小等信息,
通过对其解析,然后进行归一化最终读到label文件中去,也就是说
一张图片文件对应一个xml文件,然后通过解析和归一化,能够将对应的信息保存到唯一一个label文件中去
labal文件中的格式:calss x y w h 同时,一张图片对应的类别有多个,所以对应的bunding的信息也有多个
'''
# 对应的通过year 找到相应的文件夹,并且打开相应image_id的xml文件,其对应bund文件
in_file = open('dataset/Annotations/%s.xml' % (image_id), encoding='utf-8')
# print(in_file.name)
# 准备在对应的image_id 中写入对应的label,分别为
# <object-class> <x> <y> <width> <height>
out_file = open('dataset/labels/%s.txt' % (image_id), 'w', encoding='utf-8')
# print(out_file.name)
# 解析xml文件
tree = ET.parse(in_file)
# 获得对应的键值对
root = tree.getroot()
# 获得图片的尺寸大小
size = root.find('size')
# 获得宽
w = int(size.find('width').text)
# 获得高
h = int(size.find('height').text)
# 遍历目标obj
for obj in root.iter('object'):
# 获得difficult ??
difficult = obj.find('difficult').text
# 获得类别 =string 类型
cls = obj.find('name').text
# 如果类别不是对应在我们预定好的class文件中,或difficult==1则跳过
if cls not in classes or int(difficult) == 1:
continue
# 通过类别名称找到id
cls_id = classes.index(cls)
# 找到bndbox 对象
xmlbox = obj.find('bndbox')
# 获取对应的bndbox的数组 = ['xmin','xmax','ymin','ymax']
b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
float(xmlbox.find('ymax').text))
print(image_id, cls, b)
# 带入进行归一化操作
# w = 宽, h = 高, b= bndbox的数组 = ['xmin','xmax','ymin','ymax']
bb = convert((w, h), b)
# bb 对应的是归一化后的(x,y,w,h)
# 生成 calss x y w h 在label文件中
out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
# 返回当前工作目录
wd = getcwd()
print(wd)
for image_set in sets:
'''
对所有的文件数据集进行遍历
做了两个工作:
1.讲所有图片文件都遍历一遍,并且将其所有的全路径都写在对应的txt文件中去,方便定位
2.同时对所有的图片文件进行解析和转化,将其对应的bundingbox 以及类别的信息全部解析写到label 文件中去
最后再通过直接读取文件,就能找到对应的label 信息
'''
# 先找labels文件夹如果不存在则创建
if not os.path.exists('dataset/labels/'):
os.makedirs('dataset/labels/')
# 读取在ImageSets/Main 中的train、test..等文件的内容
# 包含对应的文件名称
image_ids = open('dataset/ImageSets/%s.txt' % (image_set)).read().strip().split()
# 打开对应的train.txt 文件对其进行写入准备
list_file = open('dataset/%s.txt' % (image_set), 'w')
# 将对应的文件_id以及全路径写进去并换行
for image_id in image_ids:
list_file.write('dataset/images/%s.jpg\n' % (image_id))
# 调用 year = 年份 image_id = 对应的文件名_id
convert_annotation(image_id)
# 关闭文件
list_file.close()
最后,会在labels下,发现搞定的一堆txt文件啦,每个文件四个类别,对的不能再对。
记录 down