Deep Nonlinear Metric Learning with Independent Subspace Analysis for Face Verification
这是一篇ACM MM的短文,名字取的也很吓人,实际上就是用stacked ISA来训练一个深度网络,然后再用测度学习做back propogation优化网络权重。
经典的DBN用RBM来作为网络基本单元, 文章用ISA作为基本深度网络的基本单元,从原理上说,和Auto encoder非常像,不同支出是只有编码,另外加入了一个pooling uinits来增强不变性,ISA的形式化如下:
最终的深度结构见图2,特征在人脸的不同块上并不是一致分布的,因此文章在第一层网络设计中充分考虑了这一点,为每个块单独训练一个ISA。
通过这个深度ISA网络,我们就可以获得原始输入的一个特征表示,在这个新的表示空间里,我们用测度学习的方法设计目标函数:
通过公式(9)这个目标函数,我们可以获得W的梯度,从而可以完成对W的优化(fine tuning)。
实验结果:
Unresticted单个特征SIFT最高可以做到88.75%。不过表1的结果很有意思,fine-tuning没有带来明显的性能改善。ISA中的稀释约束显然是对性能贡献最大的。本文的deep metric learning是张皮,实质上就是一个基于深度ISA的稀疏特征学习方法。
实验结果: