一、LDA简介
- 前言
线性判别分析(Linear Discriminant Analysis)，简称LDA(不同于文档主题分类模型里面的LDA)。是一种可用于数据分类和降维操作的方法(主要用于数据降维)，不同于前面讲的无监督降维PCA方法，LDA是有监督的降维方法。码字不易，喜欢请点赞！！！
这里建议先看一下PCA的降维原理，那篇文章我分享了很多背后的数学知识，链接：https://blog.csdn.net/Asher117/article/details/95476493
- 思想
在无监督PCA中，我们讲到，PCA的思想是使降维之后的数据最大的保持数据特征，而不会去考虑数据类别，这将会导致有的分类数据可能降维之后无法区分类别了；而LDA是一种有监督的降维方法，它的思想是降维之后同类数据类方差尽可能小，而不用类数据方差尽可能大。
二、LDA数学原理
给定数据集 ( x , y ) {(x,y)} (x,y)
降维映射矩阵为 w w w
第 i i i类的集合为 X i X_i Xi
第 i i i类的均值为 μ i \mu _i μi
第 i i i类的方差为 Σ i = Σ ( x i − μ i ) 2 \Sigma _i=\Sigma(x_i-\mu _i)^2 Σi=Σ(xi−μi)2
则降维之后第 i i i类的均值为 w T μ i w^T\mu _i wTμi
则降维之后第 i i i类的方差为:
S i = Σ ( w T x i − w T μ i ) 2 = Σ ( w T ) 2 ( x i − μ i ) 2 = w T Σ ( x i − μ i ) 2 w = w T Σ i w S _i=\Sigma(w^Tx_i-w^T\mu _i)^2=\Sigma (w^T)^2(x_i-\mu _i)^2=w^T\Sigma (x_i-\mu _i)^2w=w^T\Sigma _iw Si=Σ(wTxi−wTμi
最低0.47元/天 解锁文章
4838
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
