线性判别分析LDA计算例题详解

线性判别分析(Linear Discriminant Analysis, LDA)的核心思想是：将给定训练集投影到特征空间的一个超平面上，并设法使同类样本投影点尽可能接近，异类样本投影点尽可能远离

由于做题时针对的是解题过程，因此原理相关方面省略，具体可参考👉从协方差的角度详解线性判别分析原理

计算步骤【二分类问题】：

1. 计算类间散度矩阵 $S_b$
   $$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$$
   其中 ${\mu }_0$ 为标签为 $0$ 的特征平均值，其值个数等于特征个数，${\mu }_1$ 同理

2. 计算类内散度矩阵 $S_{\omega }$
   $$S_{\omega }={\Sigma }_0+{\Sigma }_1$$
   其中 ${\Sigma }_0$ 是标签为 $0$ 的样本协方差矩阵，若有 $n$ 个特征，则其大小为 $n\times n$
   $${\Sigma }_0=\left[\begin{array}{cccc}Cov(f_1,f_1)& Cov(f_1,f_2)& \cdots & Cov(f_1,f_n)\\ Cov(f_2,f_1)& Cov(f_2,f_2)& \cdots & Cov(f_2,f_n)\\ ⋮& ⋮& \ddots & ⋮\\ Cov(f_n,f_1)& Cov(f_n,f_2)& \cdots & Cov(f_n,f_n)\end{array}\right]$$
   其中 $Cov(x_1,x_2)=\frac{1}{n-1}{\sum }_{i=1}^n(x_1^i-\overline{x_1})(x_2^i-\overline{x_2})$ ，$n$ 为样本个数

3. 计算矩阵 $S_{\omega }^{-1}{S}_b$

   逆矩阵可以使用初等变换辅助求解，变换规则如下：

   • 对调矩阵两行（列）
   • 矩阵某行（列）乘以非零常数 $k$
   • 矩阵某行（列）倍数加到另一行

4. 对 $S_{\omega }^{-1}{S}_b$ 矩阵求特征值和特征向量，选择特征值最大的特征向量作为 $\omega$【需要归一化】

   • 特征值可通过 $|\lambda E-A|=0$ 求得

   • 将特征值带入方程 $({\lambda }_{0}E-A)X=0$ ，非零解即为特征值 ${\lambda }_0$ 对应得特征向量

     具体可参考考研数学线性代数部分，不再赘述

5. 计算得到投影后的数据点 $Y=X\omega$

   将样本值 $X$ 代入，得到的结果即投影后对应的位置

题目

假设有如下 $10$ 个样本，样本有 $2$ 个特征，前 $5$ 项为负类，后 $5$ 项为正类
D = { X 1 , X 2 , X 3 , X 4 , X 5 , X 6 , X 7 , X 8 , X 9 , X 10 } = { ( 4 , 2 ) T , ( 2 , 4 ) T , ( 2 , 3 ) T , ( 3 , 6 ) T , ( 4 , 4 ) T , ( 9 , 10 ) T , ( 6 , 8 ) T , ( 9 , 5 ) T , ( 8 , 7 ) T , ( 10 , 8 ) T } \begin{align} \nonumber D & =\left\{ X_1,X_2,X_3,X_4,X_5,X_6,X_7,X_8,X_9,X_{10} \right\}\\\nonumber & =\left\{ (4,2)^T,(2,4)^T,(2,3)^T,(3,6)^T,(4,4)^T,(9,10)^T,(6,8)^T,(9,5)^T,(8,7)^T,(10,8)^T \right\}\\ \nonumber \end{align} D​={X1​,X2​,X3​,X4​,X5​,X6​,X7​,X8​,X9​,X10​}={(4,2)T,(2,4)T,(2,3)T,(3,6)T,(4,4)T,(9,10)T,(6,8)T,(9,5)T,(8,7)T,(10,8)T}​
计算当前样本的类间散度矩阵 $S_b$ 和类内散度矩阵 $S_{\omega }$

题目所给样本可组成如下矩阵👇

样本	特征值1	特征值2	分类
$X_1$	4	2	0
$X_2$	2	4	0
$X_3$	2	3	0
$X_4$	3	6	0
$X_5$	4	4	0
$X_6$	9	10	1
$X_7$	6	8	1
$X_8$	9	5	1
$X_9$	8	7	1
$X_{10}$	10	8	1

$$\begin{gathered} {\mu }_0=[(\frac{4+2+2+3+4}{5}),(\frac{2+4+3+6+4}{5}){]}^T=[3,3.8{]}^T \\ \therefore {\mu }_1=[8.4,7.6{]}^T \\ \begin{array}{rl}\therefore S_b& =({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T\\ & =\left[\begin{array}{c}-5.4\\ -4.2\end{array}\right]\left[\begin{array}{cc}-5.4& -4.2\end{array}\right]\\ & =\left[\begin{array}{cc}29.16& 22.68\\ 22.68& 17.64\end{array}\right]\end{array} \\ {S}_{\omega }={\Sigma }_0+{\Sigma }_1 \\ {\Sigma }_0=\left[\begin{array}{cc}Cov(f_1,f_1)& Cov(f_1,f_2)\\ Cov(f_2,f_1)& Cov(f_2,f_2)\end{array}\right] \end{gathered}$$

以求 $Cov(f_1,f_2)$ 为例，如下👇，由于是对标签为 $0$ 的样本计算协方差，$\therefore \overline{f_1}=3，\overline{f_2}=3.8$
$$\begin{array}{rl}Cov(f_1,f_2)& =\frac{1}{5-1}\sum _{i=1}^5(f_1^i-\overline{f_1})(f_2^i-\overline{f_2})\\ & =\frac{1}{4}[(4-3)(2-3.8)+(2-3)(4-3.8)+(2-3)(3-3.8)+(3-3)(6-3.8)\\ & +(4-3)(4-3.8)]\\ & =\frac{1}{4}\times (-1.8-1.8+0.8+1.8)\\ & =-0.25\end{array}$$
其他数值都可根据类似方法得到
$$\begin{gathered} \therefore {\Sigma }_0=\left[\begin{array}{cc}1& -0.25\\ -0.25& 2.2\end{array}\right] \\ {\Sigma }_1=\left[\begin{array}{cc}2.3& -0.05\\ -0.05& 3.3\end{array}\right] \\ \therefore S_{\omega }={\Sigma }_0+{\Sigma }_1=\left[\begin{array}{cc}3.3& -0.3\\ -0.3& 5.5\end{array}\right] \end{gathered}$$