论文提要“DeepFace: Closing the Gap to Human-Level Performance in Face Verification”

人脸识别步骤：检测，矫正，表示，识别。
论文使用了3D人脸模型进行矫正，9层的深度神经网络学习特征，有几层局部连接层。

人脸矫正方法：（1）3D人脸模型，（2）搜索基准点，（3）像素级相似矩阵变化。论文根据基准点对人脸进行3D建模，将裁减的人脸转化为3D模式。每次迭代，使用支持向量回归（SVR）从图像描述子LBP预测点结构。

2D矫正，图1（a）所示的六个基准点，用来对图像进行尺度变换，旋转，平移得到六个锚点位置，通过拟合$T^i_{2d}:=(s_i,R_i,t_i)$，锚点位置$x_{anchor}^j:=s_i[R_i|t_i]*x_{source}^j$，最后组合成2D相似变换：$T_{2d}:=T_{2d}^1*...*T_{2d}^k$。累积变换生成2D的矫正裁切，1（b）所示。

3D矫正，2D矫正对out-of-plane的补偿不够，对非限定条件下的人脸识别不力。作者使用了广义3D模型并注册了一个3D仿射相机，将2D裁切变化为3D形式。图1（g）所示。通过在2d裁切中定位67个基准点$x_{2d}$实现，3D广义模型通过对USF Human-ID数据库进行三维扫描的平均实现，通过后处理得到矫正后的定点$v_i=(x_i,y_i,z_i)^{n}_{i=1}$，将67个点放置在3D形状上，得到67个点与3D的关联方法。仿射3D-2D摄像机P使用最小平方方法拟合，$x_{2d}=X_{3d}\overrightarrow P$，P最小化loss，$loss(P)=r^T\sum^{-1}r$，其中$r=x_{2d}-X_{3d}\overrightarrow P$,$X_{3d}$是一个$(67*2)\times8$的矩阵。拟合的摄像机P由8个未知的$\overrightarrow P$组成的向量表示。

正脸化，拟合的摄像机P只是一个近似，将r加入到基准点中得到$\hat X_{3d}$，正脸化通过2d到3d的变换实现，由67个基准点得到的Delaunay三角化指导。

表示
DNN结构及训练，结构如图2所示。C1层的输入是3D矫正后的3通道RGB图像，大小为152*152，32个滤波器大小为11*11*3，32个特征图输入到max-pooling(M2)层，3*3邻域的最大值，步长为2。之后输入到C3层，16*9*9。这三层的目的是提取低层特征，如边缘和纹理，最大池化层使得卷积层的输出对局部变化更鲁棒。网络pooling层较多会损失信息，因此值使用了一个pooling层。这三层只是将输入扩展到一些简单的局部特征。

L4,L5,L6层是局部连接的，类似于对卷积层使用滤波器组，不同的局部学习不同的滤波器。校正后图像的不同的区域具有不同的局部统计特征，因此卷积层不能满足。

F7,F8层是全连接层，这些层可以获得不同区域之间的联系，全连接层输出到K类的softmax层，产生类标签的分布，k-th类的输出为$p_k=exp(o_k)/\sum_hexp(o_h)$

训练最小化cross-entropy 损失，$L=-logp_k$，最小化过程通过计算L对参数的梯度实现，使用SGD更新参数。梯度使用bp error实现。特征比较稀疏，75%是0，使用dropout解决。

归一化
特征归一化到0，1之间，之后使用$L_2$归一化，$f(I):=\overline G(I)_i/||G(I)_i||_2$，其中$\overline G(I)_i=G(I)_i/max(G_i,\epsilon)$