
数据集处理
深度学习中各种数据集的简介和下载
Wanderer001
AR/VR软件与硬件技术:图像增强、图像分类、语义分割、目标检测、目标跟踪、风格迁移、强化学习、三维重建、SLAM
展开
-
BDD100K数据集退化图像的统计
BDD100K所包含的属性:- attributes: - weather: "rainy|snowy|clear|overcast|undefined|partly cloudy|foggy" - scene: "tunnel|residential|parking lot|undefined|city street|gas stations|highway|" - timeofday: "daytime|night|dawn/dusk|undefined"训练集以供10原创 2022-05-16 12:16:26 · 343 阅读 · 0 评论 -
BDD、KITTI、Cityscapes和Foggy Cityscapes百度云链接
BDD链接:https://pan.baidu.com/s/1gtUZGV_8X4L3Fe3PtCAxjw提取码:vfojKITTI链接:https://pan.baidu.com/s/1EPEV_z185GV8t-RE48lROA提取码:u3zrCityscapes链接:https://pan.baidu.com/s/1w-ONPbnXAX7SSaNh_90q-g提取码:osalFoggy Cityscapes链接:https://pan.baidu.com/s/1VHS原创 2022-05-05 11:46:09 · 3802 阅读 · 3 评论 -
打开终端的方法
左下端的Terminal原创 2022-12-02 13:26:18 · 1472 阅读 · 0 评论 -
DARK FACE To WIDER FACE
import ospath = '/root/Desktop/adaption_s3fd/DarkFace_Train/label'path_list = os.listdir(path)path_list.sort()f = 'f.txt'a = []for filename in path_list: full_path = os.path.join(path, filename) with open(full_path) as f: lines = f.r.原创 2022-02-16 14:52:58 · 416 阅读 · 0 评论 -
修改xml的节点
import osimport xml.etree.ElementTree as ET#程序功能:批量修改VOC数据集中xml标签文件的标签名称def changelabelname(inputpath): listdir = os.listdir(inputpath) for file in listdir: if file.endswith('xml'): file = os.path.join(inputpath,file) .原创 2022-02-26 10:38:19 · 626 阅读 · 0 评论 -
目标检测数据集PASCAOL VOC的xml格式转换为YOLO的txt格式
import xml.etree.ElementTree as ETimport pickleimport osfrom os import listdir, getcwdfrom os.path import joinsets = ['train', 'test']classes = ['XO', 'PN', 'PI', 'NP', 'HD', 'FP', 'FB', 'FO'] # 自己训练的类别def convert(size, box): dw = 1. / siz.原创 2022-02-26 10:38:30 · 420 阅读 · 0 评论 -
将VOC格式的数据集转换为COCO格式
import xml.etree.ElementTree as ETimport osimport json coco = dict()coco['images'] = []coco['type'] = 'instances'coco['annotations'] = []coco['categories'] = [] category_set = dict()image_set = set() category_item_id = -1image_id = 201800000.原创 2022-02-27 13:25:46 · 657 阅读 · 0 评论 -
旋转目标标注roLabelImg
roLabelImg is a graphical image annotation tool can label ROTATED rectangle regions, which is rewrite from 'labelImg'.The original version 'labelImg''s link is here<https://github.com/tzutalin/labelImg>.It is written in Python and uses Qt for its原创 2022-03-05 15:08:37 · 2004 阅读 · 1 评论 -
人脸数据集
Face Resource知乎有三 提供 一个非常齐全的 (数据集汇总)Face Detection DatasetFDDBpaper: http://vis-www.cs.umass.edu/fddb/fddb.pdfdataset: http://vis-www.cs.umass.edu/fddb/index.html#downloadWider Faceextreme scalepaper: https://arxiv.org/pdf/1511.06523.pdfd原创 2022-03-16 08:50:10 · 1395 阅读 · 0 评论 -
WIDER FACE: A Face Detection Benchmark
News2017-03-31 The new version of evaluation code and validation resultsis released. 2017-03-31 Add text version ground truth and fix rounding problem of bounding box annotations. 2016-08-19 Two new algorithms are added into leader-board. 2016-04...原创 2022-03-16 08:50:17 · 707 阅读 · 0 评论 -
SCUT-HEAD-Dataset-Release
News2018-1-16 SCUT-HEAD v1.0 is released with images and head bounding box annotations.DescriptionSCUT-HEAD is a large-scale head detection dataset, including 4405 images labeld with 111251 heads. The dataset consists of two parts. PartA includes .原创 2022-03-16 08:50:24 · 4060 阅读 · 0 评论 -
windows下使用labelImg标注图像
用于深度网络训练的数据集做标注的方法和工具有好多,像Labelme、labelImg、yolo_mark、Vatic、Sloth等等,此处暂时只介绍其中的一种标注工具:labelImg。等到后期熟悉其他的标注工具会一一介绍。废话不多说,直接进入正题! 此篇先介绍在windows下使用已经编译好的labelImg。 一、labelImg工具下载: 下载地址:链接:https://pan.baidu.com/s/1ZVRpMIbkN2HryCtwfOvdMw提取码:...原创 2022-03-24 13:09:12 · 1196 阅读 · 2 评论 -
合并PASCAL VOC的目标类别
我们遇到数据集中需要将car、bus、truck合并成car,或将person、rider、pedestrain合并为person。使用修改标签的方法就可以实现。import osimport xml.etree.ElementTree as ET#程序功能:批量修改VOC数据集中xml标签文件的标签名称def changelabelname(inputpath): listdir = os.listdir(inputpath) for file in listdir:原创 2022-03-24 13:09:38 · 460 阅读 · 0 评论 -
python查询字符串中指定字符的索引
python查询字符串中指定字符的索引当你想查询一个字符串中指定字符的位置时,很容易就想到用index方法,但如果字符串有多个该字符,你会发现只能查到第一次出现的位置,而python是没有内置方法去解决这个问题的,所以需要自己去定义一个方法去查询。def indexMany(s,str): #str是要查询的字符 length = len(s) #获取该字符串的长度 str1 = s #拷贝字符串 list = [] sum = 0原创 2022-03-24 13:09:42 · 6875 阅读 · 0 评论 -
VOC格式转CSV
import osimport xml.dom.minidom path_img = "VOC2007/JPEGImages"path_xml = "VOC2007/Annotations" xml_list = []for xml1 in os.listdir(path_xml): if xml1.endswith(".xml"): xml_list.append(xml1) csv_labels = open("csv_labels.csv", "w").原创 2022-03-23 14:45:51 · 463 阅读 · 0 评论 -
BDD、KITTI、Cityscapes和Foggy Cityscapes百度云链接
BDD链接:https://pan.baidu.com/s/1gtUZGV_8X4L3Fe3PtCAxjw提取码:vfojKITTI链接:https://pan.baidu.com/s/1EPEV_z185GV8t-RE48lROA提取码:u3zrCityscapes链接:https://pan.baidu.com/s/1w-ONPbnXAX7SSaNh_90q-g提取码:osalFoggy Cityscapes链接:https://pan.baidu.com/s/1VHS原创 2022-03-23 14:46:40 · 1876 阅读 · 1 评论 -
COCO 2017 数据集下载
COCO官方:地址COCO2017数据集简介:CoCo数据集一共有五种标注类型,分别(5种类型):目标检测, 关键点检测, 素材分割, 全景分割, 图像说明标注信息使用JSON格式存储( annotations ), 预处理通过COCO API用于访问和操作所有“标注”COCO 2017下载:地址Images:2017 Train images [118K/18GB] :下载 2017 Val images [5K/1GB]:下载 2017 Test...原创 2022-03-27 09:58:39 · 21979 阅读 · 8 评论 -
Opencv画框
import osimport xml.dom.minidomimport cv2 as cvImgPath = 'D:\paper\\3low_light_image\dataset_lowlight\cad\CAD\JPEGImages\\'AnnoPath = 'D:\paper\\3low_light_image\dataset_lowlight\cad\CAD\Annotations\\' # xml文件地址save_path = 'D:\paper\\3low_light_imag原创 2022-03-29 18:53:27 · 1398 阅读 · 1 评论 -
Python剪裁图像中的指定区域
import osfrom PIL import Imageimport numpy as nprootimgs = 'D:\paper\\3low_light_image\compare_lowlighr_enchace\enhancement_image\MBLLEN\\'targetroot = 'D:\paper\\3low_light_image\compare_lowlighr_enchace\enhancement_image\\'savdir = 'D:\paper\\3lo.原创 2022-03-30 11:26:31 · 3774 阅读 · 1 评论 -
用python生成多个txt文件
在win下创建多个.txt文件,参考下面的代码for i in range(1000):i_str = str(i+1)file_name = i_str+ '.txt'f = open('a/'+file_name,'w')f.close()在linux命令下,可以使用上面的参考上面代码,也可以参考下面的代码import osfor i in range(1000):i_str = str(i+1)file_name = i_str+ '.txt'os.m原创 2022-04-06 10:12:39 · 3055 阅读 · 2 评论 -
Imagenet 完整数据集下载
迅雷打开验证集http://academictorrents.com/download/5d6d0df7ed81efd49ca99ea4737e0ae5e3a5f2e5.torrent训练集http://academictorrents.com/download/a306397ccf9c2ead27155983c254227c0fd938e2.torrent原创 2022-04-03 19:34:23 · 5166 阅读 · 0 评论 -
Python中os.listdir的排序问题
上周应别人要求,使用python批量修改文件名称。文件名有规律,当时就用了一个函数直接精确的用文件名替换了。后来想直接可以用listdir来遍历每个文件来修改更加通用一些。但是看了os.listdir发现,它的输出结果并不是按照某种特定顺序来的,这样输出就不是固定的。继续找资料,发现os.listdir的结果就是一个list集,可以使用list的sort方法来排序。如果文件名中有数字,就用数字的排序,下面贴一下简单的示例代码:files=os.listdir(".")files.sort()原创 2022-04-07 10:57:09 · 8401 阅读 · 1 评论 -
Python对文件进行重命名
import ossrcFile = './actwork/linkFile/allExtLinks - 副本.txt'dstFile = './actwork/linkFile/allExtLinks - copy.txt'try: os.rename(srcFile,dstFile)except Exception as e: print(e) print('rename file fail\r\n')else: print('rename file success.原创 2022-04-07 10:57:15 · 791 阅读 · 0 评论 -
用Python对两个数据集中的图像进行水平拼接
A图:B图:拼接后:import osimport numpy as npimport PILfrom PIL import Imagedirname_read_A = "D:\paper\\3low_light_image\dataset\\train_translste_model_data\image_translate\\trainA_concat\\"names_A=os.listdir(dirname_read_A)names_A.sort(key= la原创 2022-04-23 08:15:06 · 1445 阅读 · 2 评论 -
PASCAL VOC2012测试集没有标签,怎么办?
你的模型在测试数据集上跑出结果后,可以把结果提交至官网的接口,他们根据你的结果和未公开的gt评估你模型的性能。不公开的缘故是为了公平比较大家的成绩,不然就会有人不怀好意地拿这些gt去训练,这样就失去比较的意义了。另外train,val都是有gt的,应该足够你评估性能了。如果你真想标test也可以,可以用来做模型的测试,但不要加入训练即可。...原创 2022-04-11 11:55:40 · 1574 阅读 · 2 评论 -
目标检测 COCO数据集测评指标及算法AP排行榜
目标检测COCO数据集上各算法AP排行榜:https://competitions.codalab.org/competitions/5181#results进入 coco 官网如下:进入 Evaluate/detection如下:点击第一段上面 uploaded,进入界面:点击(1)里面的 condaLab 然后选择 Competitions 进入界面点击 COCO Image Captioning Challenge 选择年份即可查看 算法在COCO数据上的AP排行COCO数据集测评原创 2022-04-08 12:13:01 · 5539 阅读 · 1 评论 -
MATLAB批量给数据集加雾
%img_name='P0002.png';%I=imread(img_name);% subplot(2,2,1);%td = add_fog(I);%imshow(td);file_path = 'D:\paper\4dehaze_remotesensing\dataset\DOTA\train\images\'; % 图像文件夹路径 out_path = 'D:\paper\4dehaze_remotesensing\dataset\DOTA\train\image.原创 2022-04-15 08:57:57 · 1306 阅读 · 2 评论 -
python 按顺序读文件夹下面的文件
方法一:import ospath="/home/test/" #待读取的文件夹path_list=os.listdir(path)path_list.sort() #对读取的路径进行排序for filename in path_list: print(os.path.join(path,filename))方法二:如下图所示的文件:filenames=os.listdir(dir)filenames.sort(key=lambda x:int(x[-9原创 2022-04-17 10:55:10 · 2529 阅读 · 0 评论 -
Python - 将图片转化成numpy数组
from PIL import Image import numpy as npimage = Image.open("/home/yang/图片/dog.jpg") # 用PIL中的Image.open打开图像image_arr = np.array(image) # 转化成numpy数组原创 2022-04-16 10:28:37 · 15064 阅读 · 3 评论 -
批量更改图像分辨率到统一大小
功能Faster r_cnn 训练神经网络时,从GitHub上clone作者的代码,并创建了自己的数据库。但是由于源代码中输入的图像的大小有一定的限制,一般在500-750之间, 自己创建的图像数据库中图像过大,因此用python 批量更改图像尺寸到统一大小。从CSDN上找到了一段代码,但是这段代码在运行的时候会报错,导致部分生成的图像无法打开。对其进行了修改,修改后的代码如下所示。错误分析:”‘P’,’RGBA’,’RGB’这是PIL Image读图可能出现的三种mode,每种mode的图片数据都原创 2022-04-16 10:28:49 · 1630 阅读 · 0 评论 -
Python逐行写入
# -*-coding:utf-8-*-import os# 写之前,先检验文件是否存在,存在就删掉if os.path.exists("dest.txt"): os.remove("dest.txt")# 以写的方式打开文件,如果文件不存在,就会自动创建file_write_obj = open("dest.txt", 'w')var = "adfss"file_write_obj.writelines(var)file_write_obj.write('\n')file_.原创 2022-04-18 13:13:04 · 3364 阅读 · 0 评论 -
将png格式的图像转换为jpg
import osfrom PIL import Imagedirname_read="D:\dataset\cityscapes\cityscape_voc_clean\JPEGImages_png\\"dirname_write="D:\dataset\cityscapes\cityscape_voc_clean\JPEGImages_jpg\\"names=os.listdir(dirname_read)count=0for name in names: img=Image.o.原创 2022-04-23 08:17:34 · 993 阅读 · 0 评论 -
PASCAL VOC统计各类目标数量
# -*- coding:utf-8 -*-import osimport xml.etree.ElementTree as ETimport numpy as npnp.set_printoptions(suppress=True, threshold=1000000)import matplotlibfrom PIL import Imagedef parse_obj(xml_path, filename): tree = ET.parse(xml_path + filen.原创 2022-04-27 10:29:55 · 1192 阅读 · 1 评论 -
PASCAL VOC格式的目标检测数据集生成ImageSets/Main中的各类txt文件
import osimport randomimport xmlfrom xml.dom import minidomVOC_CLASSES = ['car']# def generate_train_val_test_txt():xml_file_path = "D:\dataset\cityscapes\cityscape_clean_car\Annotations_car\\" # xml文件路径save_Path = "D:\dataset\cityscapes\citys.原创 2022-04-27 10:30:30 · 1115 阅读 · 1 评论 -
Python文件批量改名
import osrootimgs = 'D:\dataset\cityscapes\cityscape_voc_foggy\JPEGImages\\'rootxmls = 'D:\dataset\cityscapes\cityscape_voc_foggy\Annotations\\'allusedxmls = []file_imgs = os.listdir(rootimgs)file_xmls = os.listdir(rootxmls)for file_xml in file_xml.原创 2022-04-27 10:30:43 · 502 阅读 · 0 评论 -
PASCAL VOC提取出特定的目标类别
import osimport shutilann_filepath = 'D:\dataset\cityscapes\cityscape_voc_clean\Annotations\\'img_filepath = 'D:\dataset\cityscapes\cityscape_voc_clean\JPEGImages\\'img_savepath = 'D:\dataset\cityscapes\cityscape_voc_clean\JPEGImages_car\\'ann_savep.原创 2022-04-27 10:31:07 · 810 阅读 · 1 评论 -
将KITTI转换为PASCAL VOC
import os, sysimport globfrom PIL import Image # VEDAI 图像存储位置src_img_dir = "D:\dataset\cityscapes\leftImg8bit\\train\\zurich\\"# VEDAI 图像的 ground truth 的 txt 文件存放位置src_txt_dir = "D:\dataset\cityscapes\gtFine\\train\\zurich\\"src_xml_dir = "D:\data.原创 2022-04-24 09:12:26 · 712 阅读 · 3 评论 -
将Cityscape转换为PASACAL VOC格式的目标检测数据集
1、将Cityscape中的json格式的标注转换为.txt格式的标签# convert cityscape dataset to pascal voc format dataset# 1. convert every cityscape image label '.json' to '.txt'import jsonimport osfrom os import listdir, getcwdfrom os.path import joinimport os.pathrootdi原创 2022-04-24 09:12:34 · 2197 阅读 · 2 评论 -
Python 读取文件夹中指定后缀的文件
import ospath = ''path_list=os.listdir(path)for filename in path_list: if os.path.splitext(filename)[1] == '.mhd': XXXXXX原创 2022-04-26 08:43:09 · 5159 阅读 · 0 评论 -
删除没有标注的图像或多余的标签
import osrootimgs = 'D:\paper\\2fully_convolutial_adaption\setting1\JPEGImages'rootxmls = 'D:\paper\\2fully_convolutial_adaption\setting1\Annotations\\'allusedxmls = []file_imgs = os.listdir(rootimgs)file_xmls = os.listdir(rootxmls)for file_name in.原创 2022-04-29 07:50:57 · 1659 阅读 · 0 评论