LDA线性判别的思想很简单,把训练集样本投影到一条直线上,使得同类样本的投影点尽可能近,不同类样本点的距离尽可能远。即类内小,类间大。
一、LDA模型定义
下面我们把类内小,类间大这种思想转化为数学表达式:
上面的式子不容易求解,需要对上面的式子做化简。
二、LDA模型求解
2.1 求解方式1
2.2 求解方式2
上面的方法可能理解起来比较困难,下面是西瓜书和JerryLead笔记中求解J(w)的部分,这个理解起来比较简单。
三、LDA的缺点:
1>LDA不适合对非高斯分布进行降维。
2>LDA可能过度拟合数据
参考资料:1>机器学习-白板推导系列-线性分类
2>周志华-西瓜书
3>JerryLeadCS229的笔记中线性判别分析部分