机器学习——LDA

步骤:

1 计算类内散度矩阵S_w

2 计算类间散度矩阵S_b

3 计算矩阵S_w^{-1}S_b

4 计算矩阵S_w^{-1}S_b的最大值的d个特征值

5 计算d个特征值对应的d个特征向量,计算投影矩阵为W

6 输出新样本集\bar{D}={(p1,y1),(p2,y2)...(pm,ym)}

具体推导:

定义:

N_j(j=0,1) j 类样本个数       X_j(j=0,1) j 类样本集合        u_j(j=0,1) j 类样本均值  \sum_j(j=0,1) j 类协方差矩阵

u_j = \frac{\sum _{x\varepsilon X_j}x}{N_j} 均值             \sum j=(x-u_j)(x-u_j)^T 协方差矩阵

主要目标思想:1 最大化类别的数据中心距离   \left \| w^Tu_0-w^Tu1\right \|_2^2

                         2 最小化同类样本的协方差   w^T\sum _0w+w^T\sum _1w

类内散度:S_w =\sum_0 + \sum_1 = \sum_{X0}(x-u0)(x-u0)^T + \sum_{X1}(x-u1)(x-u1)^T

类间散度:S_b=(u_0-u_1)(u_0-u_1)^T

优化目标:J(w)=\frac{\left \| w^Tu_0-w^Tu1\right \|_2^2}{w^T\sum _0w+w^T\sum _1w}=\frac{w^TS_bw}{w^TS_ww}

求导 =>{{J_w}'} =\frac{(w^TS_ww)2S_bw-(w^TS_bw)2S_ww)}{(w^TS_ww)^2}=0   (注释:(w^TS_ww)(w^TS_bw)为标量)

        =>  S_w^{-1}S_bw=\lambda w

这就转化成一个求取特征值与特征向量的问题,可以利用SVD分解

将得到的

计算矩阵S_w^{-1}S_b的最大值的d个特征值

计算d个特征值对应的d个特征向量,计算投影矩阵为W

输出新样本集\bar{D}={(p1,y1),(p2,y2)...(pm,ym)}

对于多分类相似,不再赘述,可参考:https://zhuanlan.zhihu.com/p/27899927

 

 

 

发布了20 篇原创文章 · 获赞 12 · 访问量 3万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览