关于Fisher与MSE的等价性的证明
这里不介绍最小二乘法求解MSE的过程了,直接写结果
YTYa=YTb
最优的增广权向量为
a∗=(YTY)−1YTb
从刚才的公式可以看出,最优MSE解
a∗
与余量向量是有关系的。虽然MSE和fisher都是对寻求对样本空间的一个最优低维度映射,但是呢,Fisher侧重于寻找类内尽可能密集而类间尽可能远的法向量,而mse则是寻找使得两类样本到该平面的距离都尽量大的超平面。
现在要讨论的问题是,给定一个余量向量b=[N/N1,….,N/N2,…..]。此时MSE解等价于Fisher解。下面就来证明这个问题。
不妨设有N1个样本来自于ω1,N2个样本来自于ω2。
那么ω1的样本集为:
X1={
x11,x12,...,x1n}
同理ω2的样本集为:
X2={
x21,x22,...,x2n}
那么规范化增广样本矩阵Y就是
Y=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢111−1−1−1x11T...x1N1T−x21T...−x2N2T⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥=[e1−e2X1X2]
e1=[1,…,1],e2=[1,…,1]
增广权向量a也可以表示为如下:
a=[w0w]
b也替换为e1,和e2的形式
b=⎡⎣⎢⎢⎢⎢⎢⎢⎢N/N1...N/N1N/N2...N/N2⎤⎦⎥⎥⎥⎥⎥⎥⎥==⎡⎣⎢⎢⎢NN1e1NN2e2⎤⎦⎥⎥⎥
进行如上替换之后呢,把替换后的结果代入到之前的最优解的方程中
YTYa=YTb
得到以下结果:
[eT1XT1−eT2−XT2][e1−e2X1−X2][w0w]=[eT1XT1−eT2−XT2]⎡⎣⎢