yolov3数据集--bdd100k

最新更新:因为训练过模型,我发现有些类别mAP太低,然后就想去掉train这个类别,但发现一个新问题:官方下的那个train的大json文件似乎存在数据缺失?我用了两个小项目尝试将大json转化为xml,发现都只有69863个标签文件。但是好在网盘下的有小json标签文件70000个,所以我又想办法将小json转化为xml,同时转化的时候去掉train这一类。

下面这篇文章中的应该是可以从小json转换到xml,至于里面的txt转换我没用过,不清楚可行性。

(二)使用YOLOv3训练BDD100K数据集之标签格式转换_Xavier丶Zeng的博客-CSDN博客

然后再推荐个从voc到其他格式的项目:

https://github.com/premkumar25/Convert_VOC_COCO_YOLO

下面是之前写的:

_______________________________________________

今天主要任务是想搞定一个好用的行人车辆目标检测数据集。

大多都是这种:

车辆行人检测数据集_目标检测数据集-车辆_weixin_39846361的博客-CSDN博客

Toyota Motor Europe (TME) Motorway Dataset

bit数据集

都是那种汽车的

要么就都是那种行人的。

然后我发现有一个bdd100k的数据集还挺适合行人车辆目标检测的。

下载方式:

BDD100K Documentation — BDD100K documentation

但是很奇怪啊,我每次下载到最后都会出现下载错误,原因未知。

然后就找了个数据集大全的:

链接:https://pan.baidu.com/s/1fFSzGJt6Op4k7Gyo9QjtYA 
提取码:kuld

当然我还找到一篇博客似乎下载有用,标签格式转换暂时还没试过,但看起来还可以:

(1条消息) BDD100K数据集下载和标签格式转换问题_Liu_Zongyuan的博客-CSDN博客_bdd100k数据集下载

格式转换(下面更新了解决方案):

bdd100k数据集的格式是:json

而之前提到的所使用的yolov3的代码是需要voc数据集格式,也就是xml。甚至说似乎yolov3原本使用的是txt格式,这就带来了格式转换的问题。

我解决的思路首先是去b站上找视频,然后发现似乎不太行,针对json转xml格式。

1、但是有一个视频是卖软件的,淘宝上确实是有,但要个小几十,所以暂时不弄。

2、然后我去csdn上找,发现一个大概率能用的:

(二)使用YOLOv3训练BDD100K数据集之标签格式转换_Xavier丶-CSDN博客

然后还有人根据这篇和自己的任务写了个github的代码:

bdd100k转xml_liu506039293的博客-CSDN博客_bdd100k

liuzehao/bdd100ktoxml: bdd100k数据集转xml (github.com)

然后的话目前只停留在这一步。

3、还有一个是我发现其实那个bdd100k的网站当时不知道是点了哪个下载,大概率是下完数据集后还有一个xml格式的能下载,但是老问题:

4、还一个延伸问题:

其实我想过github上肯定有人写过能从json转xml的代码,也找到了,但还是那个问题。不会用别人的github项目,这个我之前遗留下来的问题。关键问题在于:read me给的信息完全不够,而上面的项目由于过于完整,导致以目前我的能力难以看懂,这个问题一定要解决!

目前讨论了一下还有一些思路:

1、首先git clone

2、然后去conda创造环境:包括python和库,一般在requirement.txt里面

3、那些奇奇怪怪的文件都先不管。

4、对着readme.md去跑成功一次代码。

5、看代码去改成自己所需要的,一般就是调路径、模式、接口。

格式转换最终解决方案:

先提一嘴,这项目不是一次就找到了,我先找了个json转xml的项目,发现效果和我想的不太一样,后面就搜bdd to voc才找到最终解决方案。

去github上找了个项目(github上不去就去搜fastgithub弄个小软件就行)

​​​​​​leeesangwon/bdd100k_to_VOC: converting bdd100k json to pascal voc style xml files (github.com)

用git clone下载再用vscode打开。

然后里面的代码修改的话其实就一个问题:路径。

第一个注意点:

这里只能用/不能用\,不然会报错。

具体可以看这个:

(1条消息) Python报错:‘unicodeescape‘ codec can‘t decode bytes in position 2-3: truncated \UXXXXXXXX escape_Riding the snail chase missiles ~-CSDN博客第二个注意点:

这里会发现它要的是那个总json文件,而如果你要是从我那网盘地址下,那是单独一个个的json,注意一下这里就行。

其他的就是把bdd图片和标签json所在路径调对就可以了。 

然后的话结果保存在那个bdd路径下有个xml的文件夹。

验证转换结果:

安装好labelimg库,然后

 

 这里一定要先change save dir去标签文件夹(即xml文件所在处)

然后再open dir去图片所在处

然后就能看到标注框。

至此格式转换从json到xml成功。

题外话:

今天的进度是真的不行,早上在下数据集报错。中午复习了一波复试,但没想到下午回实验室有人在复试面试模拟,属于是压力给足了。

新的问题:

1、模拟面试的同学知识量如何做到那么扎实?(设计好的题库?)

2、那位同学如何对自己的毕设项目进行的修改?

3、那位同学的自我介绍那些怎么弄的?

延伸问题:

4、瑞芯微的学习看不见希望。

5、之前概念学习阶段还有遗留问题。

6、yolov3具体实现代码其实并没有足够深入,无法进行代码复现,改进也成问题。

7、github项目看不懂问题。

今天并没有推进多少工作进度,明日计划:

1、可以的话想把bdd100k的数据集转换成xml格式。

2、用现成的voc数据集小跑一下模型。

3、未来重装一个ubuntu18.04系统然后去实现yolov3项目的复现。

4、想尽一切办法学习瑞芯微。

  • 5
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 9
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值