线性判别分析(LDA)

你的凡王

已于 2024-05-21 19:24:27 修改

阅读量217

点赞数 3

文章标签：人工智能机器学习

于 2024-05-18 12:31:36 首次发布

本文链接：https://blog.csdn.net/m0_65325092/article/details/139023228

版权

解决二分类问题，假设两个类各自都服从正态分布。思想为将样本投影到一条直线上，使得同类的样本点投影尽可能接近，异类的样本点投影尽可能远离(组内方差小组间方差大)。训练完成后，给定一个新的点，将其投影到同一直线上，根据在直线上的位置预测其分类。

二分类LDA

样本为

$D=\{ (\vec{x}_1,y_1), (\vec{x}_2,y_2), ..., (\vec{x}_n,y_n) \},$

因变量

$y_i \in \{0,1\}.$

令

$\vec{w},\;\vec{X}_i,\;\vec{\mu}_i,\;\mathbf{\Sigma}_i$

表示投影直线的方向向量和第i类样本的集合、均值向量、协方差矩阵。

两类样本的均值在直线上的投影为

$\vec{w}^T\vec{\mu}_0,\;\vec{w}^T\vec{\mu}_1,$

根据协方差矩阵的性质可知其投影点的方差为

$\vec{w}^T\mathbf{\Sigma}_0\vec{w},\;\vec{w}^T\mathbf{\Sigma}_1\vec{w},$

注意空间中的点投影到直线上都变成了一维的实数而非向量，表示投影到直线上之后到原点O的距离。

为实现开头所说的尽量靠近组间尽量远离，我们最大化如下函数

$J=\frac{||\vec{w}^T\vec{\mu}_0-\vec{w}^T\vec{\mu}_1||^2_2}{\vec{w}^T\mathbf{\Sigma}_0\vec{w}+\vec{w}^T\mathbf{\Sigma}_1\vec{w}}=\frac{\vec{w}^T(\vec{\mu}_0-\vec{\mu}_1)(\vec{\mu}_0-\vec{\mu}_1)^T\vec{w}}{\vec{w}^T(\mathbf{\Sigma}_0+\mathbf{\Sigma}_1)\vec{w}},$

定义两个取值已知的矩阵

$\mathbf{\mathit{S}}_b=(\vec{\mu}_0-\vec{\mu}_1)(\vec{\mu}_0-\vec{\mu}_1)^T,\;\;\mathbf{\mathit{S}}_w=\mathbf{\Sigma}_0+\mathbf{\Sigma}_1,$

则

$J=\frac{\vec{w}^TS_b\vec{w}}{\vec{w}^TS_w\vec{w}},$

注意上式分子分母展开后都是w的二次项，对w乘以一个非零系数上式取值不变，因此上式只与w的方向有关而与其长度无关，所以我们添加一个约束条件得到如下优化问题：

$\begin{matrix} \mathop{\mathrm{min}} \limits_{\vec{w}} -\vec{w}^TS_b\vec{w}\\ s.t.\;\; \vec{w}^TS_w\vec{w}=1 \end{matrix}$

通过拉格朗日乘子法可以得到

$S_b\vec{w}=\lambda S_w\vec{w},$

根据

$S_b\vec{w}=(\vec{\mu}_0-\vec{\mu}_1)(\vec{\mu}_0-\vec{\mu}_1)^T\vec{w}=(\vec{\mu}_0-\vec{\mu}_1)[(\vec{\mu}_0-\vec{\mu}_1)^T\vec{w}]$

可知左边的方向恒为

$\vec{\mu}_0-\vec{\mu}_1,$

因此不妨令

$S_b\vec{w}=\lambda(\vec{\mu}_0-\vec{\mu}_1),$

从而有

$\vec{w}=S_w^{-1}(\vec{\mu}_0-\vec{\mu}_1).$

多分类LDA

假设存在N个类，第i类的样本量为n_i，令

$W,\;\vec{X}_i,\;\vec{\mu}_i,\;\mathbf{\Sigma}_i$

表示投影矩阵和第i类样本的集合、均值向量、协方差矩阵。

定义全局散度矩阵为

$S_t=\sum\limits_{i=1}^{n}(\vec{x}_i-\vec{\mu})(\vec{x}_i-\vec{\mu})^T$

其中mu是整个样本的均值向量。定义类内散度矩阵为

$S_w=\sum\limits_{i=1}^{N}S_{w_i},\;\;S_{w_i}=\sum\limits_{\vec{x} \in X_i}(\vec{x}_i-\vec{\mu}_i)(\vec{x}_i-\vec{\mu}_i)^T$

定义类间散度矩阵为

$S_b=S_t-S_w=\sum\limits_{i=1}^N m_i(\vec{\mu}_i-\vec{\mu})(\vec{\mu}_i-\vec{\mu})^T.$

我们取优化目标为

$\mathop{\mathrm{min}} \limits_{W} \frac{tr(W^TS_bW)}{tr(W^TS_wW)},$

其中W是d×(N-1)维实数值矩阵。

你的凡王

关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
线性判别分析(LDA)

解决二分类问题，假设两个类各自都服从正态分布。思想为将样本投影到一条直线上，使得同类的样本点投影尽可能接近，异类的样本点投影尽可能远离(组内方差小组间方差大)。训练完成后，给定一个新的点，将其投影到同一直线上，根据在直线上的位置预测其分类。注意空间中的点投影到直线上都变成了一维的实数而非向量，表示投影到直线上之后到原点的距离。表示投影直线的方向向量(模长为1)和第i类样本的集合、均值向量、协方差矩阵。根据协方差矩阵的性质可知其投影点的方差为。两类样本的均值在直线上的投影为。
复制链接

扫一扫