最新更新:因为训练过模型,我发现有些类别mAP太低,然后就想去掉train这个类别,但发现一个新问题:官方下的那个train的大json文件似乎存在数据缺失?我用了两个小项目尝试将大json转化为xml,发现都只有69863个标签文件。但是好在网盘下的有小json标签文件70000个,所以我又想办法将小json转化为xml,同时转化的时候去掉train这一类。
下面这篇文章中的应该是可以从小json转换到xml,至于里面的txt转换我没用过,不清楚可行性。
(二)使用YOLOv3训练BDD100K数据集之标签格式转换_Xavier丶Zeng的博客-CSDN博客
然后再推荐个从voc到其他格式的项目:
https://github.com/premkumar25/Convert_VOC_COCO_YOLO
下面是之前写的:
_______________________________________________
今天主要任务是想搞定一个好用的行人车辆目标检测数据集。
大多都是这种:
车辆行人检测数据集_目标检测数据集-车辆_weixin_39846361的博客-CSDN博客
Toyota Motor Europe (TME) Motorway Dataset
bit数据集
都是那种汽车的
要么就都是那种行人的。
然后我发现有一个bdd100k的数据集还挺适合行人车辆目标检测的。
下载方式:
BDD100K Documentation — BDD100K documentation
但是很奇怪啊,我每次下载到最后都会出现下载错误,原因未知。
然后就找了个数据集大全的:
链接:https://pan.baidu.com/s/1fFSzGJt6Op4k7Gyo9QjtYA
提取码:kuld
当然我还找到一篇博客似乎下载有用,标签格式转换暂时还没试过,但看起来还可以:
(1条消息) BDD100K数据集下载和标签格式转换问题_Liu_Zongyuan的博客-CSDN博客_bdd100k数据集下载
格式转换(下面更新了解决方案):
bdd100k数据集的格式是:json
而之前提到的所使用的yolov3的代码是需要voc数据集格式,也就是xml。甚至说似乎yolov3原本使用的是txt格式,这就带来了格式转换的问题。
我解决的思路首先是去b站上找视频,然后发现似乎不太行,针对json转xml格式。
1、但是有一个视频是卖软件的,淘宝上确实是有,但要个小几十,所以暂时不弄。
2、然后我去csdn上找,发现一个大概率能用的:
(二)使用YOLOv3训练BDD100K数据集之标签格式转换_Xavier丶-CSDN博客
然后还有人根据这篇和自己的任务写了个github的代码:
bdd100k转xml_liu506039293的博客-CSDN博客_bdd100k
liuzehao/bdd100ktoxml: bdd100k数据集转xml (github.com)
然后的话目前只停留在这一步。
3、还有一个是我发现其实那个bdd100k的网站当时不知道是点了哪个下载,大概率是下完数据集后还有一个xml格式的能下载,但是老问题:
4、还一个延伸问题:
其实我想过github上肯定有人写过能从json转xml的代码,也找到了,但还是那个问题。不会用别人的github项目,这个我之前遗留下来的问题。关键问题在于:read me给的信息完全不够,而上面的项目由于过于完整,导致以目前我的能力难以看懂,这个问题一定要解决!
目前讨论了一下还有一些思路:
1、首先git clone
2、然后去conda创造环境:包括python和库,一般在requirement.txt里面
3、那些奇奇怪怪的文件都先不管。
4、对着readme.md去跑成功一次代码。
5、看代码去改成自己所需要的,一般就是调路径、模式、接口。
格式转换最终解决方案:
先提一嘴,这项目不是一次就找到了,我先找了个json转xml的项目,发现效果和我想的不太一样,后面就搜bdd to voc才找到最终解决方案。
去github上找了个项目(github上不去就去搜fastgithub弄个小软件就行)
leeesangwon/bdd100k_to_VOC: converting bdd100k json to pascal voc style xml files (github.com)
用git clone下载再用vscode打开。
然后里面的代码修改的话其实就一个问题:路径。
第一个注意点:
这里只能用/不能用\,不然会报错。
具体可以看这个:
这里会发现它要的是那个总json文件,而如果你要是从我那网盘地址下,那是单独一个个的json,注意一下这里就行。
其他的就是把bdd图片和标签json所在路径调对就可以了。
然后的话结果保存在那个bdd路径下有个xml的文件夹。
验证转换结果:
安装好labelimg库,然后
这里一定要先change save dir去标签文件夹(即xml文件所在处)
然后再open dir去图片所在处
然后就能看到标注框。
至此格式转换从json到xml成功。
题外话:
今天的进度是真的不行,早上在下数据集报错。中午复习了一波复试,但没想到下午回实验室有人在复试面试模拟,属于是压力给足了。
新的问题:
1、模拟面试的同学知识量如何做到那么扎实?(设计好的题库?)
2、那位同学如何对自己的毕设项目进行的修改?
3、那位同学的自我介绍那些怎么弄的?
延伸问题:
4、瑞芯微的学习看不见希望。
5、之前概念学习阶段还有遗留问题。
6、yolov3具体实现代码其实并没有足够深入,无法进行代码复现,改进也成问题。
7、github项目看不懂问题。
今天并没有推进多少工作进度,明日计划:
1、可以的话想把bdd100k的数据集转换成xml格式。
2、用现成的voc数据集小跑一下模型。
3、未来重装一个ubuntu18.04系统然后去实现yolov3项目的复现。
4、想尽一切办法学习瑞芯微。