线性判别分析
全称是Linear Discriminant Analysis (LDA)。
原理
给定训练样例集，通过降维的思路进行分类。将样例投影到一条直线上，使得同类样例的投影点接近，异类样例的投影点尽可能远离。LDA降维最多降到类别数K-1的维数。
输入
训练集数据 D = ( x 1 , y 1 ) . . . ( x M , y M ) D = {(x_1,y_1) ... (x_M,y_M)} D=(x1,y1)...(xM,yM)， x i ∈ X ⊆ R n x_i \in \mathcal{X} \subseteq R^n xi∈X⊆Rn， y i ∈ Y ⊆ R K y_i \in \mathcal{Y} \subseteq R^K yi∈Y⊆RK，二分类 y i ∈ { − 1 , + 1 } y_i \in \{-1, +1\} yi∈{ −1,+1}
X i , μ i , Σ i X_i, \mu_i, \Sigma_i Xi,μi,Σi 分别表示第i类样例的集合、均值向量、协方差矩阵。
输出
每个分类的均值向量，各分类数据在总体中所占比例，降维矩阵，降维后各分量的权重。如果是二分类就是{+1, -1}。
损失函数
在下面的属于中b代表between class（类间），w代表within class（类内）。
定义全局散度矩阵 S t = ∑ i = 1 M ( x i − μ ) ( x i − μ ) T S_t = \sum_{i=1}^M(x_i-\mu)(x_i-\mu)^T St=∑i=1M(xi−μ)(xi−μ)T
定义类内散度矩阵 S w = ∑ k = 1 K
最低0.47元/天 解锁文章
1649
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
