主成分分析和判别函数

主成分分析和判别函数

标签： 模式分类

@author lancelot-vim

---

主成分分析

考虑n个d维的样本$x_1, x_2...x_n$，如何使用一个d维的向量$x_0$，来代表这n个样本，确切说，我们希望这n个样本和它的代表$x_0$之间的距离的和越小越好，特别的，使用欧几里得距离来定义误差函数$J_0(x_0)$:$J_0(x_0)=\sum_{k = 1}^n||x_0-x_k||^2$

我们的目标是寻找$x_0$，使得$J_0$最小，很容易可以得到:$x_0 = \frac{1}{n}\sum_{k = 1}^nx_k$

实际上，样本均值是样本数据集的零维表达，它表达了样本之间的相似，但不能表达样本的差异性。过样本均值做一条直线，并将所有的样本向这条直线上做投影，那么我们能得到代表所有样本的一维向量，若$\vec{e}$表示这条直线的单位向量，那么直线方程为$\vec{x} = \vec{m} + a\vec{e}$,其中$\vec{m}$代表样本均值
其中$a$是一个实数，表示某点离开$m$的距离，我们用$m = a_ke$来表示$x_k$，可得:
$J_1(a_1,a_2...a_n,e) = \sum_{k=1}^n||(m+a_ke)-x_k||^2 \\ \qquad \quad =\sum_{k=1}^na_k^2||e||^2-2\sum_{k = 1}^na_ke^T(x_k-m) + \sum_{k=1}^n||x_k-m||^2$
由于$||e|| = 1$，通过对$a_k$求偏导，令结果为0有:$a_k=e^T(x_k - m)$，直观上表示为点到直线的距离

---

这就引出一个问题，什么方向的直线才是最好的直线，对此定义”散布矩阵”(scatter matrix)

$$S = \sum_{k=1}^n(x_k-m)(x_k-m)^T$$

将上式代入$J_1$,有:
J1(e)=∑nk=1a2k−2∑nk=1a2k+∑nk=1||xk−m||2  =−∑nk=1