【数据集处理二】Anti_UAV_test_dev数据集处理

       Anti_UAV_test_dev数据集中标注为json格式，有1500帧标注（60s）和1000帧标注（50s），用于检测任务时，不需要每一帧（相似度过高）。因此，分别采取每5帧取1帧、每4帧取1帧的策略，提取300帧和250帧。

 一、FFmpeg视频转帧

均匀间隔抽取
ffmpeg -i "D:\Research direction\data set\train data\Anti_UAV_test_dev\data31\IR.mp4" -vf fps=fps=5 -s 256x256 "D:\Research direction\data set\fuzachangjing\JPEGImages\data31"\%d.bmp
###-vf fps=fps=5  表示每一秒取5帧

对于两类数据集分别得到300张和250张图片。

二、标签格式转换（json2xml）

       网上找不到现成的代码，于是自己写了一个，针对自己的数据集使用，还存在一些小问题。希望各位大佬批评指正。

import os
import re
import csv

###############################################
#一个标签
def Annotations1_write(xmax,xmin,ymax,ymin):
    # print (rename)#打印文件名
    index_=str(index)
    with open(os.path.join(foldername, index_ + '.xml'), 'w') as f:
        f.write(f"""<annotation>
    <folder>{foldername}</folder>
    <filename>{index}.bmp</filename>
     <path>D:/Research direction/data set/foldername/rename.bmp</path>
	<source>
		<database>Unknown</database>
	</source>
    <size>
        <width>{256}</width>
        <height>{256}</height>
        <depth>{channel}</depth>
    </size>
    <segmented>0</segmented>\n""")
        f.write(f"""    <object>
            <name>drone</name>
            <pose>Unspecified</pose>
            <truncated>0</truncated>
            <difficult>0</difficult>
            <bndbox>
                  <xmin>{int(xmin)}</xmin>
                  <ymin>{int(ymin)}</ymin>
                  <xmax>{int(xmax)}</xmax>
                  <ymax>{int(ymax)}</ymax>
            </bndbox>
        </object>\n""")
        f.write("</annotation>")


def class1(index):
      with open(os.path.join (root,foldername,'IR_label.json'), 'r') as f:
         reader = csv.reader(f)
         result = list(reader)
         # print(result[5*i-1]) #取出想要的行,第5*i+4行
         result=str(result[5*index-1])
         # print(result)
         #取出x,y的值
         number = re.findall("\d+", result)  # 正则化去掉多余字符(输出结果为列表)
         # print(number)
         number=str(number)  #转化为字符串
         # print(number)

         xmax_=(number.split(',')[0])#以，为分隔符取出各个元素
         # print(xmax_)
         xmax = "".join(list(filter(str.isdigit, xmax_)))#取出数字，最后是字符串
         # print(xmax)
         #同理
         xmin_=(number.split(',')[1])
         xmin = "".join(list(filter(str.isdigit, xmin_))) # 取出数字，最后是字符串

         ymax_=(number.split(',')[2])
         ymax = "".join(list(filter(str.isdigit, ymax_)))  # 取出数字，最后是字符串

         ymin_=(number.split(',')[3])
         ymin = "".join(list(filter(str.isdigit, ymin_))) # 取出数字，最后是字符串
         return (xmax,xmin,ymax,ymin)

def class2(index):
    with open(os.path.join (root,foldername,'IR_label.json'), 'r') as f:
         reader = csv.reader(f)
         result = list(reader)
         # print(result[4*i]) #取出想要的行,第4*i行
         result=str(result[4*index])
         # print(result)
         #取出x,y的值
         number = re.findall("\d+", result)  # 正则化去掉多余字符(输出结果为列表)
         # print(number)
         number=str(number)  #转化为字符串

         xmax_=(number.split(',')[0])#以，为分隔符取出各个元素
         # print(xmax_)
         xmax = "".join(list(filter(str.isdigit, xmax_)))#取出数字，最后是字符串
         # print(xmax)
         #同理
         xmin_=(number.split(',')[1])
         xmin = "".join(list(filter(str.isdigit, xmin_))) # 取出数字，最后是字符串

         ymax_=(number.split(',')[2])
         ymax = "".join(list(filter(str.isdigit, ymax_)))  # 取出数字，最后是字符串

         ymin_=(number.split(',')[3])
         ymin = "".join(list(filter(str.isdigit, ymin_))) # 取出数字，最后是字符串
         return (xmax,xmin,ymax,ymin)

save= 'D:/Research direction/data set/fuzachangjing/Annotation'
root= 'D:/Research direction/data set/train data/Anti_UAV_test_dev'
#标签文件路径
foldername = 'data41' ####换文件夹改这里
if not os.path.exists(foldername):
    os.mkdir(foldername)

#打开标签文件
with open(os.path.join (root,foldername,'IR_label.json')) as label_json:
#分成两类，判断属于哪一类
  lines = []
  for i in label_json.readlines()[1004:1005:]:
    if len(i)== 19:
        num = 300
        index = 1
        while index != num:
           (xmax,xmin,ymax,ymin)=class1(index)
           Annotations1_write(xmax,xmin,ymax,ymin)
           index=int(index)
           index += 1

    elif len(i) == 18:
        num = 300
        index = 1
        while index != num:
            (xmax,xmin,ymax,ymin)=class1(index)
            Annotations1_write(xmax, xmin, ymax, ymin)
            index = int(index)
            index += 1
    elif len(i)== 2:
        num = 250
        index = 1
        while index != num:
            (xmax, xmin, ymax, ymin) =  class2(index)
            Annotations1_write(xmax, xmin, ymax, ymin)
            index = int(index)
            index += 1
    else:
        print('出错了')

以上代码还存在几点问题：

1.仅适用于1500帧和1000帧标注文件。

2.因为最后一个标签和前面的有差异，没采用，故只能生成299个和249个标签文件，要把对应最后一张图片删去。

3.对于0,0,0,0的标签处理上，data34后面很多此类标签，没有做另外处理，不知道后续检测是否会出现问题。

4.图片和标签是否匹配的问题，最好还是采用可视化方法进行确认。