CV | Siamese网络

简介

今年的CVPR大会看到了好多带“siamese”关键词或者同类的词的文章，之前不了解这个网络，今学习并总结如下。

以后学习到新的与之有关的网络再行更新。

1. Siamese网络

Siamese网络：通过网络学习到两个图片之间的相似度函数。算法的原理利用神经网络提取描述算子，得到特征向量，然后利用两个图片的特征向量判断相似度，这个有点像sift，只不过是利用CNN进行提取特征，并且用特征向量进行构造损失函数，进行网络训练。

见：详解Siamese网络

感觉这篇博客介绍该网络的作用，损失函数等非常通俗易懂，值得推荐。

扩展：one-shot学习

One-shot Learning，一次学习。训练集中，每个类别都有样本，但都只是少量样本。知乎上一个解释感觉很直白：Zero-shot learning 指的是我们之前没有这个类别的训练样本。但是我们可以学习到一个映射X->Y。如果这个映射足够好的话，我们就可以处理没有看到的类了。 比如，我们在训练时没有看见过狮子的图像，但是我们可以用这个映射得到狮子的特征。一个好的狮子特征，可能就和猫，老虎等等比较接近，和汽车，飞机比较远离。

与迁移学习（transfer learning）、领域自适应（Domin Adaptation)用处较接近。

2. 相关网络

2.1 人脸识别

论文：Learning a similarity metric discriminatively, with application to face verification，CVPR2005.

其网络为，有两个分支分别输入图片x1、x2（须知：这两个分支其实是相同的，同一个cnn模型，同样的参数，文献只是为了方便阅读，所以才画成两个分支，因为他们采用的是权重共享），包含卷积、池化等相关运算。

siamese 网络分成前半部分、后半部分。前半部分用于特征提取，我们可以让两张图片，分别输入我们这个网络的前半部分，然后分别得到一个输出特征向量Gw(x1)、Gw(x2)，接着我们构造两个特征向量距离度量，作为两张图片的相似度计算函数。

我们要判断图片X1和X2是否相似，于是我们构建了一个网络映射函数Gw(x)，然后把x1、x2分别作为参数自变量，我们可以得到Gw(x1)、Gw(x2)，也就是得到用于评价X1、X2是否相似的特征向量。然后我们的目的就是要使得损失函数最小。

然后利用这个损失函数，对网络进行训练，就可以判别两张人脸的相似度了。上面过程中网络的两个分支所用的是同一个函数，也就是权值、网络结构是同一个，我们完全可以把Gw(x)看成是一个特征提取器，因此siamese network网络其实就是一个提取一直图片的特征算子的过程，然后再网络的最后一层，是用于定义了特征向量间相似度的损失函数。

详见：Siamese architecture Siamese网络

2.2 基于2-Channel network的图片相似度判别

论文： Learning to Compare Image Patches via Convolutional Neural Networks，CVPR2015.

先在这里解释下为什么作者要把它称之为：2-channel networks。理解了2-channel这个词，有助于我们后面理解算法。从上面Siamese 网络，我们可以看到这个网络有两个分支组成，因为我们是要比较两张图片patch1、patch2的相似度，所以Siamese 网络的大体思路，就是让patch1、patch2分别经过网络，进行提取特征向量，然后在最后一层对两个两个特征向量做一个相似度损失函数，进行网络训练，这个后面在给进行比较详细的讲解，总的来说Siamese 对于两张图片patch1、patch2的特征提取过程是相互独立的，我们也可以把Siamese 网络称之为“2-branches networks”。那么paper所提出的算法：2-channel networks 又是什么意思呢？本来patch1、patch2是两张单通道灰度图像、它们各不相干，于是作者的想法就是把patch1、patch2合在一起，把这两张图片，看成是一张双通道的图像。也就是把两个(1，64，64)单通道的数据，放在一起，成为了(2，64，64)的双通道矩阵，然后把这个矩阵数据作为网络的输入，这就是所谓的：2-channel。

详见：Siamese architecture Siamese网络
深度学习（十六）基于2-channel network的图片相似度判别