论文阅读笔记《PN-Net: Conjoined Triple Deep Network for Learning Local Image Descriptors》

核心思想

  该文介绍了一种新的基于深度学习的图像匹配方法，与MatchNet相比，该文采用一个三元组的输入取代了孪生网络结构，并且使用欧氏距离来度量图块之间的相似程度，而不是用一个专门的度量网络。该文提出一种新的损失函数softPN，不仅考虑了匹配图像之间的相似性，同时也考虑了不匹配图像之间的差异性。网络的流程如下图所示

  如图所示，正样本图像$p_1,p_2$和负样本图像$n$分别输入到三个权重共享的卷积神经网络中，得到对应的深度特征$D(p_1),D(p_2),D(n)$，然后利用欧氏距离分别计算三者之间的相似程度，并设计对应的损失函数。

实现过程

网络结构

  本文采用的特征提取网络结构如下

损失函数

  本文设计了softPN损失函数

$\Delta (p_1,p_2)$表示$p_1,p_2$对应的特征向量之间的欧氏距离，该损失函数的目标是缩小匹配样本之间的差距，增大不匹配样本之间的差距，而且考虑了两个正向样本和负样本之间的距离关系。

创新点

• 采用三元组的输入形式，包含两个正样本和一个负样本
• 设计了softPN损失函数

算法评价

  该文也是图像匹配领域中比较经典的文章了，文章其实并不复杂，就是在使用孪生网络进行两两匹配的基础上，改进为三元组的形式，训练网络能够提取更为本质的特征，既能够使得匹配图像足够相似，又能使得不匹配图像差异足够大。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。