Author: Ejaz Ahmed,Michael Jones and Tim K. Marks
http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Ahmed_An_Improved_Deep_2015_CVPR_paper.pdf
Motivation:
利用神经网络同时提取特征和相似矩阵学习来做reid问题(和图像分类中替代提特征和分类器的性质相同)
神经网络的输入为 一组图片(两张要比较的行人) 输出为相似值。
提出了一层来获得两个input中层特征之间的关系。之后还有patch summary feature。
How:
基本上理解了图,就理解了全文...
一开始采用的tied conv就是share wight的卷积。因为取中层特征的时候大家都一样。
接着到了cross-input neighbourhood 层在论文中有说明,意思是用一张图上(x,y),减去另一张图对应(x-2,x+2),(y-2,y+2)这个临近区域每一个像素值可以得到5*5个值。如果上面一张中层特征图我们称为f,下面我们称为g。那么f-g的话有25张扩大了5*5倍的图,对应的用g-f也有25张5*5的图。
然后再继续做conv。需要注意的是这里两个25张图,之后用的是不同weight的conv(作者只是为了画图方便concat了在一起)
到最后在fully connected再真正concat到一起的。最后才用softmax loss。
欢迎关注知乎专栏 行人重识别