FaceNet项目实践

一、论文的原理与复现

1. 论文复现 
Database：LFW db（论文采用，rgb图算是较大的典型数据集）。

LFW数据库 总共有 13233 张 JPEG 格式图片，属于 5749 个不同人。每张图片尺寸都是 250x250；

数据库下载地址：http://vis-www.cs.umass.edu/lfw/lfw.tgz

人脸对齐：python src\align\align_dataset_mtcnn.py data/lfw data/lfw_160 --image_size 160 --margin 32 --random_order --gpu_memory_fraction 0.25

2. 三分triplet类聚类方法 
不使用二分聚类判别，而使用三分聚类判别。 
（一）.直接学习图像到欧式空间的映射，其中两张图像所对应的特征的欧式空间的点，最后一层都进行特征归一化。 
||f（x）|| = 1 
归一化后的欧式距离对应这连个图像的相似度

（二）. 用三元组进行knn聚类,称为triplet 
a. 原理：三张图对应于两个身份： （a，b，c）=（A，A，B） 
b. 保证 |ab| < (|ac|+|bc|)/2 
c. triplet loss：三张图片输入的loss（之前都是double / single loss） 
d. loss的计算过程

3. 样本的选择方法 
假设有10000张样本，如果是遍历所有的pair，共10000×10000种情况，数量过于庞大，处理这种情况，考虑两种采用minibatch的方法： 
|=======方案一

• 随机设置6000组embeddings（这个是自己做facenet时用的方法，事先生成随机pairs）

|=======方案二

1. 假设每个人有20张图片，首先挑出一张图片作为a;
2. 剩下的19张里选择一张hard positive，就是跟他最不相似的图片b;
3. 同时在包括其他类的所有照片里，选择一张hard——negative，就是和这张图片最像的照片c。进行训练。

. 
4. triplet方式的缺陷 
新问题：为什么容易进入局部最优？

• 猜测:由于hard-positive和hard-negative都是选自和a同一类的照片，结果就变成了类间分类，Positive Pair的样本对训练没有积极作用。

解决方案：

• semi-hard网络结构，在选择hard-negative的时候，要求满足： 
  |positive——pair的平方和| < |negative——pair的平方和-threshold| 
  保证了hard-negative不跟自己太像，不至于每次都选到自己同类的照片）

怀疑：

• semi-hard是数学上的方法，但是边界阈值的设置需要靠经验吗？
• 另外限定hard-negtive样本的选择范围于与a不同类的样本范围内，可以改善局部最优吗？

辩驳：

1. 训练后期，学习率调低，如果训练进入局部最优，在与a不同类的样本里找hard-negative（也就是c），如果c和a的相似度高（欧式距离较小），同时b和a欧式距离也很小（虽然b是同一类里和a最不像的样本，但在bp传播优化过程中，b和a的距离也保持在很小的水平），那么bp的反向传播对网络的改善就大打折扣，难以逃出局部最优。
2. 优化：在与a不同类的样本里，结合semi-hard方法，更合适于逃离局部最优。（未实践）

5. 评价函数

1. 评价一： 
   所有6000对pairs的二分结果正确率
2. 评价二： 
   ROC，Facenet输出了【TP】和【TN】指标。 
   把一对含有同一个人的两张照片pair称为Positive Pair。 
   把一对来自两个人的两张照片pair称为Negative Pair。 
   TP: 把Positive Pair正确判定为Positive Pair； 
   TN: 把Negative Pair正确判定为Negative Pair； 
   FP: 把Negative Pair正确判定为PositivePair； 
   FN: 把Positive Pair正确判定为Negative Pair；

---

6. 复现主要思路记录： 
前期进行常见的crop（（w，h）=（160，160））预处理，没有进行flip、randomskip或rotate，主要是考虑先跑通了再考虑是否有必要通过映射变换增加样本数量。

LFW复现结果： 
以LFW为训练集、以LFW为测试集。loss收敛相当快，训练速度和作者说的差不多。作者硬件1070ti，我的是1080ti，迭代15000次，准确率到0.98，一个多小时（一个epoch取1000次batch。每个batch耗时0.2到0.3秒左右，耗时最长的环节，就是在评价编码器环节：每个epoch后，对LFW随机生成的6000对pair进行一一检验，以triplet方式衡量编码器的好坏，这部分平均耗时10秒以上）

对网络的小改进： 
pair.txt虽然是事先随机的抽取，不过所有pair被固化了，可能无法代表部分判别项。于是，我把pair.txt文件删了，写了新脚本，保证每次pair都是随机生成的10000对，same和notsame维持在1比2的比例附近。随机的pair的生成，虽然增加了图像IO队列的流动成本，但是事实证实了网络收敛地更快。仅迭代1200次，evaluate的结果就达到了0.98。

插曲： 
调试时疑惑不解scipy读取的图像数据，plt.show和cv2.imshow，结果不同。scipy.misc.imread按照RGB格式，opencv按照BGR格式读取。可以说是很逗了。

---

7.拓展：对其他数据集的复现 
Yale_B（单通道，pgm格式，考虑了多种光照效果，参杂bad样本，其他说明略）数据库，相对于LFW，它的单类样本数更多，分类数较少。以Yale_B为例，观察facenet对中小型人脸数据库的检测精度。同时，通过学姐的帮助，对各数据集进行有效的降维，加快训练效率。

插曲： 
facenet为了节省样本读取的时间，采用pipline方式从图片路径IO输入输出的方式。tf这种方式对png/jpg是支持的，对pgm不支持，考虑到重写输入输出结构需要改动大量代码，所以采用了更简单的办法：写个脚本pgm转jpg搞定。其他修改的细枝末节不赘述。

---

输出最终结果： 
多次测试，同样迭代千次级别，二分准确率达到0.98。在中小型数据上，facenet也表现出强劲的二分检测能力。涉及师姐的成果，所以图片抹掉了部分重要信息。

python src\validate_on_lfw.py  ../data/lfw_160 models/20180408-102900

----------------------------------------------------------------------------------------------

二. 用来做计算人脸之间的相似度

.准备工作：

2-1.下载FaceNet官方代码

下载地址：https://github.com/davidsandberg/facenet.git 

2-2.下载训练好的FaceNet模型文件

下载地址：https://github.com/davidsandberg/facenet

解压，并将其模型存放在和compare.py代码相同的路径下。

2-3.下载两张待测试的图片。（图片大小无要求，格式为jpg/png）

同样，将图片存放在和compare.py代码相同的路径下。

2-4.运行compare.py代码

1）cd到compare.Py所在路径

2）分别输入：python compare.py 20170511-185253 001.jpg 002.jpg

                      python compare.py 20170511-185253 001.jpg 003.jpg（注意图片格式）

3)  完成