LDA线性判别分析



hit2015spring

给定训练集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能的近,异类样例点尽可能的远,对新样本进行分类的时候,将新样本同样的投影,再根据投影得到的位置进行判断,这个新样本的类别
LDA二维示意图。用‘+’表示正类“-”表示负类,两个投影,实心三角形和圆表示投影中心
二分类:
给定数据集 D=(xi,yi)mi=1,yi0,1

Xi :第 i0,1 类的样本集合
μi :第 i0,1 类的均值向量
i :第 i0,1 类的协方差矩阵

将数据投影在直线 w 上,则两类样本的中心点在直线上的投影分别为wTμ0 wTμ1

将所有的样本点投影到直线上之后,两类样本的协方差为 wT0w wT1w

由于直线是一维空间,因此 wTμ0 wTμ1 wT0w wT1w 均为实数

为了把两类分的比较开于是有两个方面考虑
1、同类抱团更加紧密
2、不同类分的开

为了让同类的样本尽可能的接近,就让同类样本的投影点协方差尽可能的小,
于是有
wT0w+wT1w 让他们尽可能的小

为了两类分的开:
于是有了两类的投影中心尽可能的远离
wTμ0wTμ122

要尽可能的大,这样就可以得到它的优化目标函数,使她最大就ok
J=wTμ0wTμ122wT0w+wT1w

定义两个符号
类内散度矩阵:
Sw=0+1=x1X0(xμ0)(xμ0)T+x1X1(xμ0)(xμ0)T
类间散度矩阵
Sb=(μ0μ1)(μ0μ1)T

于是得到了要优化的下式,最后需要优化的目标,使之最大化即可,求取 w

J=wTSbwwTSww

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页