线性判别分析(Linear Discriminant Analysis)

动机

---

线性判别分析(Linear Discriminant Analysis)又叫Fisher线性判别分析, 由Fisher1936年提出. 很多书把线性判别分析作为一种高斯分类器讲起, 但线性判别分析之所以流行还是因为它可以作为一种非常有效的降维技术. PCA也是一种常用的降维技术, 但它和线性判别分析完全不同. 线性判别分析属于监督学习范畴, 它是一个矩阵优化问题, 这个矩阵反映的是样本的变异信息. 后面我们会给出线性判别分析的解析解.

基本概念

---

假设${x}=(x_1,x_2,...,x_p)^T$为一个$p$维观测样本, 通过线性变换

$$y=w_1x_1+w_2x_2+...+w_px_p={w}^T{x}$$
我们可以把 $x$投影到标量 $y$上, 这里 ${w}=(w_1,w_2,...,w_p)^T\in\mathbb{R}^p$. 同样我们还可以把多元变量 ${x}$投影到 $q$维空间
$${y}=(y_1,y_2,...,y_q)^T$$
这里

$$y_j=w_{1j}x_1+w_{2j}x_2+\dots+w_{pj}={w}_{j}^T{x}, \ \ \ \ j=1,2,...,q$$
写成矩阵形式,
$${y}={W}^T{x},$$
这里 ${W}=(w_{ij})$是一个 $p\times q$ 矩阵.

后面我们会把${y}$ 称作判别变量把${w}$称作判别坐标.

样本

---

继续使用上面的记法, 假设我们的样本分为$K$分组(分类), 其中每组样本数为$n_k$ , $k=1,2,...,K$. 对于第$k$组样本,

$$({x}^{(k)}_1,{x}^{(k)}_2,\dots,{x}^{(k)}_{n_k})=\left( \begin{array}{cccc} x^{(k)}_{11}& x^{(k)}_{12} & \dots & x^{(k)}_{1n_k} \\ x^{(k)}_{21} & x^{(k)}_{22} & \dots & x^{(k)}_{2n_k} \\ \vdots & \vdots & \ddots & \vdots \\ x^{(k)}_{p1} & x^{(k)}_{p2} & \dots & x^{(k)}_{pn_k} \\ \end{array} \right),$$
上面矩阵的第 $j$列 ${x}_j^{(k)}$, 表示第 $j$ 个观测样本. 总样本量 $n=\sum_{k=1}^Kn_k$.
这样的话, 我们就可以定义第 $k$组样本的样本均值为
$${\mu}^{(k)}=({\mu_1}^{(k)},{\mu_2}^{(k)},...,{\mu_p}^{(k)})^T= \frac{1}{n_k}\sum_{j=1}^{n_k}{x^{(k)}_i}$$
有了样本均值, 我们就可以定义散布矩阵 $S_k$表示第 $k$组样本的分散程度,
$$S_k=\sum_{i=1}^{n_k}({x}^{(k)}_i-{\mu}^{(k)})({x}^{(k)}_i -{\mu}^{(k)})^T$$
这里 $S_k$反映的第 $k$个分组的组内变化情况. 如果样本比较接近, $S_k$的元素就比较小; 反之, 样本比较分散, $S_k$的元素就比较大.
对于所有的 $K$个分组, 我们定义 组内散布矩阵为,
$${S_W}=\sum_{k=1}^K\sum_{i=1}^{n_k}({x}_i^{(k)} -{\mu}^{(k)})({x}_i^{(k)} -{\mu}^{(k)})^T$$
容易看出, 组内散布矩阵刻画的是样本组内变异程度.
可以类似的定义 组间散布矩阵. 如果用 ${\mu}=\frac{1}{n}\sum_{k=1}^Kn_k{\mu}^{(k)}$ 表示所有样本的均值, 则组间散布矩阵可以写为

$${S_B}=\sum_{k=1}^Kn_k({\mu}^{(k)}-{\mu})({\mu}^{(k)} -{\mu})^T$$
组间散布矩阵刻画的是组间变异程度. 当各组样本均值, 即样本中心点距离比较远时, 组间散布矩阵比较大.
同样, 我们定义 总散布矩阵为
$${S_T}=\sum_{k=1}^K\sum_{i=1}^{n_k}({x}_i^{(k)}- {\mu})({x}_i^{(k)}-{\mu})^T$$
容易证明 ST=SB+S