关于Fisher与MSE的等价性的证明

关于Fisher与MSE的等价性的证明

这里不介绍最小二乘法求解MSE的过程了，直接写结果

$$Y^TYa=Y^Tb$$
最优的增广权向量为
$$a^* = (Y^TY)^{-1}Y^Tb$$

从刚才的公式可以看出，最优MSE解

$$a^*$$ 与余量向量是有关系的。虽然MSE和fisher都是对寻求对样本空间的一个最优低维度映射，但是呢，Fisher侧重于寻找类内尽可能密集而类间尽可能远的法向量，而mse则是寻找使得两类样本到该平面的距离都尽量大的超平面。
现在要讨论的问题是，给定一个余量向量b=[N/N1,….,N/N2,…..]。此时MSE解等价于Fisher解。下面就来证明这个问题。

不妨设有N1个样本来自于ω1,N2个样本来自于ω2。
那么ω1的样本集为：

$$X_1 =\{ x_1^1,x_2^1,...,x_n^1\}$$
同理ω2的样本集为：
$$X_2 =\{ x_1^2,x_2^2,...,x_n^2\}$$
那么规范化增广样本矩阵Y就是
$$Y=\begin{bmatrix} 1 & {x_1^1}^T \\ 1 & ... \\ 1 & {x_{N1}^1}^T\\ -1 & -{x_1^2}^T\\ -1 & ...\\ -1 & -{x_{N2}^2}^T \end{bmatrix} = \begin{bmatrix} e1 & X_1\\ -e2 & X_2 \end{bmatrix}$$
e1=[1,…,1],e2=[1,…,1]
增广权向量a也可以表示为如下：
$$a=\begin{bmatrix} w_0 \\ w\\ \end{bmatrix}$$
b也替换为e1，和e2的形式

$$b=\begin{bmatrix} N/N1 \\ ...\\ N/N1\\ N/N2\\ ...\\ N/N2 \end{bmatrix} == \begin{bmatrix} \frac{N}{N1}e1\\ \frac{N}{N2}e2 \end{bmatrix}$$
进行如上替换之后呢，把替换后的结果代入到之前的最优解的方程中
$$Y^TYa=Y^Tb$$
得到以下结果：

[eT1XT1−eT2−XT2][e1−e2X1−X2][w0w]=[eT1XT1−eT2−XT2]⎡⎣⎢