Siamese network(孪生神经网络)

一.概述

• Siamese Network 是一种神经网络的框架，而不是具体的某种网络，就像seq2seq一样，具体实现上可以使用RNN也可以使用CNN。
• Siamese network就是“连体的神经网络”，神经网络的“连体”是通过共享权值来实现的。(共享权值即左右两个神经网络的权重一模一样)
• siamese network的作用是衡量两个输入的相似程度。孪生神经网络有两个输入（Input1 and Input2）,将两个输入feed进入两个神经网络（Network1 and Network2），这两个神经网络分别将输入映射到新的空间，形成输入在新的空间中的表示。通过Loss的计算，评价两个输入的相似度。

二.详解

Siamese Network有两个结构相同，且共享权值的子网络。分别接收两个输入X1与X2，将其转换为向量Gw(X1)与Gw(X2)，再通过某种距离度量的方式计算两个输出向量的距离Ew。

训练Siamese Network采用的训练样本是一个tuple (X1,X2,y)(X1,X2,y)，标签y=0表示X1与X2属于不同类型(不相似、不重复、根据应用场景而定)。y=1则表示X2与X2属于相同类型(相似)。

LOSS函数的设计应该是 
1. 当两个输入样本不相似(y=0)时，距离Ew越大，损失越小，即关于Ew的单调递减函数。 
2. 当两个输入样本相似(y=1)时，距离Ew越大，损失越大，即关于Ew的单调递增函数。

用L+(X1,X2)表示y=1时的LOSS，L−(X1,X2)表示y=0时的LOSS，则LOSS函数可以写成如下形式：

Lw(X1,X2)=(1−y)L−(X1,X2)+yL+(X1,X2)