pytorch版deep sort训练特征
开场白
最近在做车辆检测跟踪,检测训练教程有很多,但是pytorch版deepsort(就是很多星星的ZQPei
/deep_sort_pytorch项目)的跟踪特征训练能找到的资料很少,于是自己在他的github上摸索,踩了一遍大家可能遇到的坑,终于成功训练,并且能把训练好的权重用到检测跟踪程序里。
可能中间的过程并不完善,主要还是参考大佬GitHub项目主页的流程。
第一步:下载项目相关资料
1.pytorch版的yolov3+deepsort项目
链接:link.
2.VeRi-776数据集
官方数据集可以申请得到下载链接。网上很多教程,自行查找。
第二步:修改数据集格式及程序运行
ZQPei大佬的代码很简洁,他在GitHub上也说的很清楚,我总结一下自己遇到和大家可能出现的问题。
1.数据格式
最终的目录像这样:
原始数据是把训练的车和测试的车分开了,也就是776中有几百用于训练,剩下的用于测试,但是这个版本的deepsort训练的是分类网络,需要的是训练测试一样的ID,也就是要先把原始数据中的所有776文件夹都移动到train里,再把train里每一个文件夹下的图片分几张到test相应的ID下。
说的可能有点啰嗦。。
我是把每号车都分出去6张给测试集,当然你可以有自己的想法,比如分10张,或者保证同分布的每一个角度分出去一张。我为了方便,这样做的,可能在理论上有些许不妥。
这样数据集格式基本就算改好了。
2.遇到的问题
(1)运行train.py遇到的第一个问题
这个是数据预处理的问题,源码中对于训练图片做的预处理是先随机裁剪一个(128,64)的图像作为网络输入,如下图:
而咱们的veri数据集图片大小不一,并且基本都不够128*64那么大,所以随机裁剪出了问题,这里我做的改变是把随机裁剪变为resize,这样就省的改网络了,是一种比较方便的做法,当然你们也可以对图片做不一样的预处理,也可以修改网络输入以适应veri图像数据,我为了方便就这么做了,可能理论上有些许不妥,但是对准确率影响应该不大。我说的不对的地方也请大佬提出纠正,我也刚刚入门,很多理论没研究透。见谅!
(2)运行train.py遇到的第二个问题
是数据导入的问题,由于显存小,所以trainloader的batch写了2,显存小的一定要改小一点!,不然运行很慢,还有显卡爆炸的风险。。修改大小在这里:
于是我输出了数据和标签的维度,发现了是奇偶的问题。
清楚的了问题的源头,我的解决方法是把每一个ID文件夹下的图片个数都保证为偶数。这样就能解决这个问题。这个可以自己写代码实现一下,用os的相关操作。
(3)把训练好的.t7文件放到跟踪程序里出现的问题
这个问题很好理解,跟踪代码中原来作者训练的是751类,而我测试程序训练的是12类,也就是一开始我只做了001-012的ID用来测试。
这个问题作者是这样回答的:
在这里改,改完就可以运行检测跟踪程序啦!
参考文献
内容全为亲身经历,其中参考了以下链接:
啊:
[1]: https://github.com/ZQPei/deep_sort_pytorch/issues
[2]: http://bbs.cvmart.net/topics/449/veri-da-gui-mo-cheng-shi-jiao-tong-jian-kong-che-liang-zai-shi-bie-tu-xiang-shu-ju-ji?from=timeline