LDA——线性降维

预备知识——一点线性代数知识,一点感知机的知识

LDA介绍

通过LDA 数据降维

先求w,确定分别面方向,即最佳投影方向
再求b,确定偏置
在这里插入图片描述
投影后有最佳的可分离性,即最大的类间距离和最小的类内距离
同时优化这两个目标
在这里插入图片描述
得到这个,分母越大越好,分子越小越好,平方是为了后续方便求导
在这里插入图片描述
u0和u1表示两类样本的类间距离,下标不重要,同样s0和s1也是一样。

投影向量计算:
在这里插入图片描述
假定最佳投影向量为𝜔,则任意一个n维样本向量𝑥在投影向量上的投影为𝝎’x,w’表示w的转置

计算类内散度J ,即是上面公式的S

分为下面几个步骤:
先求组内偏差
计算类别内每个样本距离中心的偏差,
再将全部偏差进行相加,
假定x来自与第0类,则其投影为X
则第0类的则内偏差为:
在这里插入图片描述
其他类也这样算
在这里插入图片描述
最后得到类内散度:
在这里插入图片描述
设总样本数为m,第0类样本数为𝑚0,第1类样本数为𝑚1
则协方差矩阵:
在这里插入图片描述
经过推算,则上面的J1 类内散度可以改写为下面这个:
在这里插入图片描述
S_w我们称为类内散度矩阵

接下来求类间距离:

在这里插入图片描述

则可以定义类间散度矩阵
在这里插入图片描述
则类间散度矩阵可以画成如此
在这里插入图片描述

则原问题化成
在这里插入图片描述

求解:

定义拉格朗日函数为𝐿 𝑊, 𝜆 = 𝑊’𝑆_𝑏𝑊 − 𝜆( 𝑊‘𝑆_𝑤𝑊 − 𝑐) , 𝜆为待定系数
在这里插入图片描述
在这里插入图片描述

由线性代数知识和上面的式子,可以知道:
在这里插入图片描述
继续化简一下:
在这里插入图片描述

在这里插入图片描述

可以遵循下面的算法
在这里插入图片描述

求偏置b

那该如何求偏置b呢
求得最佳分类投影方向后,如何分类,求取分类阈值。

假设我们有一个数据集X,对应的类别标签为y。在LDA中,我们希朁找到一个投影向量w,将原始的高维数据X投影到一维或者更低维的空间。假设投影后的数据为X_proj,那么投影过程可以表示为 X_proj = X * w。

LDA中的偏置b通常是通过以下步骤来求得的:

计算每个类别的均值向量(mean vector)。
计算不同类别均值向量之间的差异。
根据类别均值向量的差异来计算偏置b。
具体来说,偏置b的计算过程如下:

首先,计算每个类别在投影空间上的均值(投影后的数据的均值),记作 m1, m2, …, mk。
然后,计算这些均值的中心化均值,即所有类别均值的平均值:m_mean = (m1 + m2 + … + mk) / k。
最后,偏置b可以通过 b = -w’ * m_mean 计算得到,其中w’为投影向量w的转置。

示例:在这里插入图片描述
在这里插入图片描述
(5)中[-0.79 0.89]‘约等于[-1 1.13]’ ,方向相同即可

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值