2DPCA

（本篇博客来自于Two-Dimensional PCA:A New Approach to Appearance-Based Face Representation and Recognition论文，是自己在完成老师任务时经过查阅资料自行整理翻译的笔记，如有错误，请联系我，此笔记仅用于学习，如需转载，请注明来源，谢谢！）

1、引言

2DPCA是针对2D图像矩阵而不是1-D向量，因此不需要将图像矩阵拉直成向量进行特征抽取，而是直接使用原始图像矩阵构造图像协方差矩阵。

2、2DPCA的思想和算法

首先定义$X$是一个$n$维的酉向量，我们的思想是将图像矩阵$A(m\times n)$通过以下的线性变换投影到$X$上：
$$Y=AX$$
投影后，获得一个$m$维的$Y$，它被称为图像矩阵$A$的投影特征向量。但是，如何确定一个好的投影向量$X$呢？事实上，投影样本的总体分散程度可以用来测量投影向量$X$的分辨能力。投影样本的总体分散程度可以用投影特征向量的协方差矩阵的迹来表征。从这个观点出发，我们得到以下标准：
$$J(X)=tr(S_x)$$
其中，$S_x$表示训练样本的投影特征向量的协方差矩阵。
$$S_x=E[(Y-EY)(Y-EY{)}^T]=E[(A-EA)X][(A-EA)X{]}^T$$
因此，
$$tr(S_x)=X^T[E(A-EA{)}^T(A-EA)]X$$

注意：$S_x$的迹表示Y的分量的方差和，最大化上述标准的意义在于最大化方差。我们的目的是找到一个投影方向$X$,所有的样本都投影到上面，投影之后的样本点的总体分散程度要最大化。

定义下列矩阵：
$$G_t=E[(A-EA{)}^T(A-EA)]$$
$G_t$称为图像协方差矩阵（图像散度矩阵）。由定义可知，$G_t$是一个$n\times n$的非负定矩阵。可以利用训练样本直接计算$G_t$。

假设总共有$M$个图像训练样本，第$j$个训练图像表示为$A_j（j=1,...,M)$,所有训练样本的平均图像表示为$\bar{A}$,然后
$$G_t=\frac{1}{M}{\Sigma }_{j=1}^M(A_j-\bar{A}{)}^T(A_j-\bar{A})$$

因此，最大化标准变为：
$$J(X)=X^T{G}_{t}X$$
其中$X$是一个酉向量，这个标准也成为广义最大散度准则（generalized total scatter criterion)。$X$称为最优投影轴（optimal projection axis）。直观上理解就是，当图像矩阵投影到$X$之后，投影样本的总体散度达到最大（散度用方差度量，类似于PCA）。

最优的投影轴$X_{opt}$是一个酉向量最大化$J(X)$,也就是说，$X_{opt}$是$G_t$的最大特征值所对应的特征向量。但一般来说，仅有一个最优投影轴是不够的，我们通常需要选择一组投影轴，$X_1,X_2,...$，而且，这些轴收到正交约束和最大化$J(X)$的标准，也即是说：
{ { X 1 , . . . , X d } = a r g m a x J ( X ) X i T X j = 0 i ≠ j , i , j = 1 , . . . , d \begin{cases} \{X_1,...,X_d \} =argmax J(X)& \\ X_i^{T} X_j =0& i \neq j, i,j=1,...,d \\ \end{cases} {{X1​,...,Xd​}=argmaxJ(X)XiT​Xj​=0​i​=j,i,j=1,...,d​

事实上，最优投影轴就是$G_t$的前d个最大的特征值所对应的正交特征向量。

3、特征抽取（feature extraction）

2DPCA的最优投影轴$X_1,...,X_d$常常用来特征抽取。假设给定一个图像矩阵$A$,定义：
$$Y_k=A{X}_k,k=1,2,...,d$$
然后，我们便获得一组投影特征向量$Y_1,...,Y_d$，通常称为样本图像矩阵$A$的主成分。我们应该可以注意到：2DPCA每一个主成分是一个向量，然而PCA的每一个主主成分是一个标量。

获得的主成分向量构成一个矩阵$B=[Y_1,...,Y_d]$,此矩阵被称为图像A的特征矩阵或者特征图像。

4、分类方法

在经过2DPCA变换之后，每一个图像都可以获得特征矩阵，通常使用最近邻分类器进行分类。任意两个特征矩阵的距离定义为：
$$d(B_i,B_j)={\Sigma }_{k=1}^d||Y_i^{(i)}-Y_j^{(i)}|{|}_2$$
$||Y_i^{(i)}-Y_j^{(i)}|{|}_2$表示欧式距离。

5、基于2DPCA的图像重构

假设图像协方差矩阵$G_t$的前d个最大的特征值所对应的正交特征向量为$X_1,...,X_d$，在图像样本被投影到这些轴之后，结果主成分向量$Y_k=A{X}_k,k=1,2,...,d$。定义$V=[Y_1,Y_2,...,Y_d]$,$U=[X_1,X_2,...,X_d]$,有
$$V=AU$$

因为$X_1,...,X_d$是正交的，因此，容易得到样本$A$的重构图像：
$$\tilde{A}=V{U}^T=\sum _{k=1}^d(Y_k{X}_k^T)$$

定义${\tilde{A}}_k=Y_k{X}_k^T,k=1,2,...,d$，代表A的重构子图片，也就是说，可以图像A可以通过添加前d个子图像来对A进行近似重构。特别地，当选择的主成分数量$d=n$时，重构图像$\tilde{A}=A$,也就是说，图像被主成分向量完全重构并且没有任何信息损失。否则，如果$d<n$,则$\tilde{A}$是$A$的一个近似。

6、实验（未完待续）

6.1 在ORL数据库上的实验

6.2 在AR数据库上的实验

AR人脸数据库包含126人（70名男性和56名女性）的4000多张彩色人脸图像，包括不同面部表情、光照条件和遮挡情况的正面视图。大部分的图像是分两个部分（间隔两周）拍摄的。每个部分包含13张彩色图像，其中有120人（65名男子和55名妇女）参加了两次拍摄。在我们的实验中，我们选取了这120个个体的图像并加以使用。这里只考虑完整的面部图像（没有尝试在每个会话中处理遮挡的人脸识别）。我们手动裁剪图像的脸部部分，然后将其规格化为50x40像素。

（该图片来自2DPCA的原作论文）
第一行的图片（a,b,c,d,e,f,g）来自第一部分，第二行的图片(n,o,p,q,r,s,t)来自第二部分. a:自然表情；b:微笑；c：生气；d：尖叫；e：左侧打光；f：右侧打光；g：所有侧面都打光；（n,o,p,q,r,s,t)图片的表情和上述一样，仅仅是不同时间拍摄的而已。

6.2.1 随时间变化

在这个实验中，第一部分的图像（a,b,c,d,e,f,g）作为训练集，第二部分的图片（n,o,p,q,r,s,t)作为测试集。因此，训练集和测试集的样本都是840个，此实验的目的是为了比较：在随时间改变的条件下，PCA和2DPCA的性能。

6.2.2 随面部表情变化

这个实验的目的是在于比较：在随面部表情改变的条件下，PCA和2DPCA的性能.
选取（a,b,c,d）和（n,o,p,q）包括了面部表情的变化。因此选择（a）和(n)作为训练集，（b,c,d）和（o,p,q）作为测试集。训练样本数为240.

6.2.3 随光照条件变化

本实验的目的是为了比较：随光照变化的条件下，PCA和2DPCA的性能。（a,e,f,g）和（n,r,s,t）是随光照强度改变而拍摄的照片，因此，在此实验中，从上述任意两个部分中任意选出两张图片作为训练集，剩余图片作为测试集。因此，有16种可能的寻两样本集合，基于这些训练样本，我们做了16次测试，并且对每一个测试中的PCA和2DPCA的性能进行比较。

6.3 在Yale数据库上的实验

该数据库包含15个人的165张图片（每个人有11张不同的图片，是在不同的面部表情和不同的光照条件下拍摄的）。本实验每个图片被手动裁剪成100x80像素。在本实验中，采用的是留一交叉验证策略。

6.4 实验结果的评估

上述实验结果显示：2DPCA的识别率高于PCA的识别率，但是这些结果在统计上是显著的吗？基于贝努利模型【2】，使用零假设统计检验对实验结果进行评估。

7 总结和分析

2DPCA比传统的PCA有很多优势：

• 2DPCA是基于图像矩阵，对于图像特征抽取来说，更简单更直接。
• 就所有实验的识别准确率来说，2DPCA比PCA更优。尽管在不同的数据库和不同的条件下，2DPCA比PCA结果好这一趋势基本上是一致的，但在某一些实验上，统计上的显著性差异并不是很明显。
• 2DPCA比PCA在计算上更有效率，能够显著提高图像特征抽取的速度。

但是2DPCA也有一些缺点：

• 就存储需求而言，基于2DPCA的图像表示并没有PCA有效率，因为2DPCA在图像表示上比PCA具有更多的系数。

最后，2DPCA仍然有值得研究的地方。比如

• 当PCA主成分较少时，近似与原始的均方误差很小，2DPCA具有类似的特征？
• 2DPCA比PCA具有更多的系数来表示图像，虽然这一问题可以通过在使用2DPCA plus PCA来进行解决，但是否存在直接对2DPCA进行降维还是个未知数。

参考文献：
【1】Jian Yang, David Zhang, Senior Member,IEEE, Alejandro F.Frangi, and Jing-yu Yang. Two-Dimensional PCA: A New Approach to Appearance-Based Face Representation and Recognition.
【2】J.R. Beveridge, K. She, B. Draper, and G.H. Givens, “Parametric and Nonparametric Methods for the Statistical Evaluation of Human ID Algorithms,” Proc. Third Workshop Empirical Evaluation of Computer Vision Systems, Dec. 2001.