LDA的全称Linear Discriminant Analysis,线性判别分析。
原理是,将带标签的数据投影到维度更低的空间,使投影后的点形成按类别区分,相同类别的点在投影后的空间中更接近,异类尽可能远。
二分类:
给定数据集D,分别为对应类i的集合、均值向量、协方差矩阵,若将数据投影到直线w上,,则类的中心为,协方差为。
最大化目标。
定义类内散度矩阵,已知可求。
定义类间散度矩阵,已知可求。
可表示为:。
对分母归一化,固定w,使w唯一确定。
对目标函数J(w)化简,并加入约束可得:
构造:
W为的特征向量,为特征值。
由于
由于数据x为K维的特征,u对应为k维,在二分类中,为分类到一维直线上的类均值,可令,为一个与w相关的数。
则可表示为:
带入上式:
已知对w放缩任意倍数,结果依然成立,故直接令。
结论:
多分类:假设有C个类别,x数据L个熟悉,投影到K个基向量。
K个向量表示为,结果为
,
类内散度矩阵大体不变,其中表示类别i的样本点相对于该类中心的散列程度,定义。
而二分类中的类间散度矩阵需要转换,二分类中考虑的是两个均值点的情况,现在考虑多个类的均值点相对与样本中心的散列情况。
,固定分母为1,如上,最后得出,即。
如上,w为的特征向量,取前k个特征向量特征向量构成W。
对于K-分类的一个分类问题,会有K个线性函数