机器学习之线性判别（算法详细推导）

线性判别法LDA——P60

主要思想

需要找一条直线，希望各点投影在该直线上后，希望同一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。量化这两点感官，则需满足异类点的中心距离远，同类点的方差小.

模型建立

假设我们有数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2),\dots,(x_m,y_m)\} D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)}，其中任意样本$x_i$为n为向量， y i ∈ { 0 , 1 } y_i\in\{0,1\} yi​∈{0,1}，我们定义

• $X_i(i=0,1)$为第$i$类样本的集合，
• $\#X_i(i=0,1)$为第$i$类样本的个数，
• $a_i(i=0,1)$为第$i$类样本的投影中心点（是一个向量）,
• ${\mu }_i(i=0,1)$为第$i$类样本的中心点
• $S_i(i=0,1)$为第$i$类样本的方差
• ${\Sigma }_i(i=0,1)$为第$i$类样本的协方差矩阵

根据投影的知识可得

点$(x_{i1},x_{i2})$在直线$w_1{x}_1+w_2{x}_2=0$上的投影相当于向量$(x_{i1},x_{i2})$在向量$(w_1,w_2)$上的投影，即为向量$(x_{i1},x_{i2})$与向量$(w_1,w_2)$的点积$(x_i{)}^{T}w$

则有

$$\begin{gathered} a_i=\frac{1}{\#X_i}\sum _{j\in X_i}(x_j{)}^{T}w \\ =(\frac{1}{\#X_i}\sum _{j\in X_i}(x_j{)}^T)w \\ ={\mu }_{i}w(i=0,1) \end{gathered}$$

$$\begin{gathered} S_i=\sum _{j\in X_i}((x_j{)}^{T}w-a_i{)}^2 \\ =\sum _{j\in X_i}(((x_j{)}^T-{\mu }_i)w{)}^2（1） \\ =\sum _{j\in X_i}((x_j-{\mu }_i{)}^{T}w{)}^2（2） \\ =\sum _{j\in X_i}{w}^T(x_j-{\mu }_i)(x_j-{\mu }_i^T)w（3） \\ =w^T(\sum _{j\in X_i}(x_j-{\mu }_i)(x_j-{\mu }_i{)}^T)w \\ =w^T{\Sigma }_{i}w.(i=0,1) \end{gathered}$$

• 其中(1)由$a_i$的表达式代入得到
• (2)由于${\mu }_i$是数，一个数点转置还是它本身
• (3)根据$(x^{T}y{)}^2=(x^{T}y)(x^{T}y)=(x^{T}y{)}^T(x^{T}y)=y^{T}x{x}^{T}y$其中$x^{T}y$为一个数

根据主要思想，我们建立以下目标函数

由于我们希望|$a_1-a_2$|尽可能大，$S_1+S_2$尽可能小，即可建立目标函数

$$\begin{gathered} 由于\min |a_1-a_2|=>\min (a_1-a_2{)}^2 \\ \underset{w}{\max }\frac{(a_1-a_2{)}^2}{S_1+S_2} \end{gathered}$$

下面求解$(a_1-a_2{)}^2$和$S_1+S_2$

$$\begin{gathered} (a_1-a_2{)}^2=(({\mu }_1-{\mu }_2)w{)}^2=w^T({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^{T}w \\ {S}_1+S_2=w^T({\Sigma }_1+{\Sigma }_2)w \end{gathered}$$

最终确立目标函数为

$$\underset{w}{\max }=\frac{w^T({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^{T}w}{w^T({\Sigma }_1+{\Sigma }_2)w}$$

根据拉格朗日乘子法得到最优权重为

$$w^{\ast }=({\Sigma }_1+{\Sigma }_2{)}^{-1}({\mu }_1-{\mu }_2)$$

当${\Sigma }_1+{\Sigma }_2$不可逆的时候采用$w^{\ast }=({\Sigma }_1+{\Sigma }_2+\lambda I{)}^{-1}({\mu }_1-{\mu }_2)$

二分类

1. 计算每个类别点集的中心点${\mu }_i$
2. 计算每个类别点集的协方差矩阵${\Sigma }_i$
3. 计算类间散度矩阵$S_w={\Sigma }_1+{\Sigma }_2$
4. 判断$S_w$是否可逆（在python中用np.linalg.det（）求解矩阵A的行列式|A|，如果行列式为0，不可逆，否则可逆。）
   • 若可逆，则$w^{\ast }=S_w^{-1}({\mu }_1-{\mu }_2)$
   • 若不可逆，则$w^{\ast }=(S_w+\lambda I{)}^{-1}({\mu }_1-{\mu }_2)$

多分类

1. 计算整个样本点集的中心点$\mu$

2. 计算每个类别点集的中心点${\mu }_i$

3. 计算每个类别点集的协方差矩阵${\Sigma }_i$

4. 计算全局散度矩阵$S_t={\sum }_{i=1}^m(x_i-\mu )(x_i-\mu {)}^T$

5. 计算类内散度矩阵$S_w={\sum }_{j=1}^k{\Sigma }_j$

6. 计算类间散度矩阵$S_b={\sum }_{j=1}^k{m}_j({\mu }_j-\mu )({\mu }_j-\mu {)}^T$

   其中$m_j$表示第$j$类的样本数

7. 计算$S_w^{-1}{S}_b$的特征根和特征向量，选取前k个