改进思路:
1、采用多任务增强特征表达,例如一个分支基于softmax loss做分类,另一个分支基于triplet loss做 reid。例如如图基于epnet网络做多属性分支:颜色和车型分类器;triplet loss 为另外分支。key point :分支融合:乘积、减、拼接concat(大量使用)
2、重要idea: 凡是用了deep ranking 、triple loss,一定要注意:不要重头训练,通常需要训练基本CNN 网络,例如先训练多任务学习网络(例如车型、颜色),然后再加入triple loss,有利于提高精度,否则不容易收敛。
3、如何进行正、负样本采样,要点:hard negtive ,例如采样同一个颜色、同一个车型,但是不同车牌号码的图片,让网络去学习同款同色不同牌(吊坠、纸巾盒等区别)
4、如何进一步提升,attention 重要信息,例如年检标志排列 ,可训练一个faster rcnn检测器检测出目标,然后再用孪生神经网络提特征比对,判断标志是不是同一个标志。
5、triple loss 理解。
体现deep rank思想,强在解决垂直细粒度问题。
其他1、样本不平衡:batchwise sampleing 样本不平衡、权重惩罚。
其他2、常见提特征方法:局部相似索引,精排,Vgg提取、自编码提取
其他3、解决输入纬度不同的问题:全卷积、resize、全局平均池化
其他4、centercrop (短边缩放到目标,长边按比例),cenrrop 改进:随机crop
相关不错博文: