【温故而知新】线性判别分析(Linear Discriminant Analysis)

最新推荐文章于 2024-09-13 12:25:44 发布

caicaiatnbu

最新推荐文章于 2024-09-13 12:25:44 发布

阅读量848

点赞数 1

分类专栏： ML算法实现-python

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/caicaiatnbu/article/details/104173227

版权

线性判别分析(LDA)是一种用于分类的线性方法，旨在通过投影使得同类样本点接近，不同类样本点远离。LDA通过计算类内和类间方差来确定最佳投影方向，从而实现高内聚、低耦合的分类效果。在给定的数据集上，LDA通过训练样本的均值和方差来构建目标损失函数，并求解最优投影向量。

摘要由CSDN通过智能技术生成

线性判别分析(Linear Discriminant Analysis, LDA)是一种经典的线性分类方法。

LDA的基本思想：给定训练数据集，设法将样本投影到一条直线上，使得同类样本的投影点尽可能的接近，不同类样本的投影点尽可能远离；在对新来样本进行分类时，首先将其投影到直线上，再根据投影点的位置来判断样本所属的类别。即：类内小，类间大("高内聚，松耦合")

给定数据集 $D=(x_1,y_i)}_{i=1}^{N},x_i \in \mathbb{R}^p,y_i \in \{ +1, -1\}$ ,在这里我们将 y=+1 记为 C_1 类， y=-1 记为 C_2 类，则

$x_{c_1}=\{x_i |y_i=+1 \}$ , $x_{c_2}=\{ x_i|y_i=-1 \}$ ,

$\left | x_{c1} \right | = N_1$ , $\left | x_{c2} \right | = N_2$ , N_1+N_2 = N

样本点在直线上的投影： Z_i = W^Tx_i ，此处令 $\left \| W\right \|_2^2=1$

训练样本的均值： $\bar{Z}=\frac{1}{N}\sum_{i=1}^{N}Z_i=\frac{1}{N}\sum_{i=1}^NW^Tx_i$

训练样本的方差：

最低0.47元/天解锁文章

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。