FaceNet

facenet

主要思想

通过卷积神经网络将人脸特征映射到128维欧几里得空间，每张图像都有自己的特征向量，使用特征向量的距离的倒数来表示人脸的相似度，距离越小，人脸相似度越大。

总体流程：通过深度卷积神经网络得到128维特征向量后，对特征向量进行L2正则化，使用正则化后的特征向量计算Triplets Loss。

Triplets Loss

使用三元组损失函数，损失函数包含两个匹配脸部缩略图和一个非匹配的脸部缩略图，通过距离边界来区分样本中的正负类，α就是这个距离边界，a上标（anchor）的是单个个体特征向量，p（positive）上标是同个个体的不同特征向量，n上标（negative）是不同个体的特征向量：

训练时针对一个特征向量，需要选择其他同个个体的不同特征向量进行计算：

同时还需要选择不同个体的特征向量：

在整个数据集上计算argmax和argmin不现实，实际训练时：

1、每隔n步，使用最近的网络检查点计算子集的argmax和argmin；

2、线上生成三元组，每隔min-batch中筛选positive/negative样本；

3、关注最坏的错误，不关注同一个个体最坏距离，因为可能存在错误标签；

4、整个数据集中肯定有大量满足的三元组，这些数据对模型训练没有帮助，而且会导致收敛速度很慢；因此需要更多关注那些难的三元组；

网络结构

但其实网络结构不重要，文章重点在于图像到128维向量的表示，选择其他卷积网络也可以；

zeiler&fergus

Inception

实验过程

本次实验线上生成三元组，每隔

1、对于a-p距离，确保每一个mini-batch都有每一个标识的最少数量示例；

2、Loss

3、在每次训练时随机插入错误人脸，如果刚开始就用最难的a-n对，会导致局部最小值，不利于模型收敛甚至会导致模型崩溃，因此我们选择negative：

4、批量大小会限制我们选择难三元组；

5、根据算力资源，调整网络结构；这篇论文其实把网络看作一个黑盒子；

6、给定两张人脸图像，使用L2距离评定两张是否是同一张脸；属于同一张脸的图像向量属于同一个集合TA(d)，距离小于d，错误距离FA(d)，两张不同脸距离也小于d。

7、Inception参数只有zeiler&fergus 1/20，但是性能差不多；Inception可以继续减少参数并保持性能；NNS模型很小，可以在手机上运行；

8、网络在JPEG压缩方面很健壮，80*80 pixels以上表现也很好；

9、投射到128维空间效果最好，是实验得到；因为更高维度就需要更多计算；

10、该嵌入更适合将同一个人照片分到同一类；

主要贡献

1、端到端的人脸嵌入到128维空间；

2、对图像人脸只需要很小的对齐；