机器学习笔记（VIII）线性模型(IV)线性判别分析（LDA）

背景知识

对于一个数据集合$\mathbf{x}=(x_1,x_2,\cdots,x_n)$;

均值

$$E(\mathbf{x})=\dfrac{1}{n}\sum\limits_{i=1}^{n}x_i$$

方差

样本方差

$$s^2=\dfrac{1}{n-1}\sum\limits_{i=1}^{n}(x_i-\overline{\mathbf{x}})^2$$

总体方差

$$\sigma^2=\dfrac{1}{n}\sum\limits_{i=1}^{n}(x_i-\mu)^2$$

标准差

标准差反映了各个维度偏离其均值的程度

$$s=\sqrt{\dfrac{1}{n-1}\sum\limits_{i=1}^{n}(x_i-\overline{\mathbf{x}})^2}$$

协方差

协方差矩阵
如果有一个数据集有三个维度$\left\{\mathbf{x},\mathbf{y},\mathbf{z}\right\}$

$$\Sigma= \left( \begin{matrix} \mathop{COV}(\mathbf{x},\mathbf{x})&\mathop{COV}(\mathbf{x},\mathbf{y})&\mathop{COV}(\mathbf{x},\mathbf{z})\\ \mathop{COV}(\mathbf{y},\mathbf{x})&\mathop{COV}(\mathbf{y},\mathbf{y})&\mathop{COV}(\mathbf{y},\mathbf{z})\\ \mathop{COV}(\mathbf{z},\mathbf{x})&\mathop{COV}(\mathbf{z},\mathbf{y})&\mathop{COV}(\mathbf{z},\mathbf{z})\\ \end{matrix} \right)$$

$\mathop{COV}(\mathbf{x},\mathbf{y})$

$$\mathop{COV}(\mathbf{x},\mathbf{y})=\dfrac{1}{n-1}\sum\limits_{i=1}^{n}(x_i-\overline{\mathbf{x}})(y_i-\overline{\mathbf{y}})$$

LDA（Linear Discriminant Analysis）

基本思想

给定训练样集，设法将样例投射到一条直线上，这个处理就是将样本投射到另一个空间，使得同类样本的投影点尽可能接近，异类样本点尽可能远离；在对于新样本进行分类的时候，将其投影到相同的这条直线上，在根据投影点的位置来确定新样本的类别。

离散度矩阵

给定数据集合$D=\left\{(\mathbf{x}_i,y_i)\right\}_{i=1}^{m},y_i\in\left\{0,1\right\}$
令$X_i,\mu_i,\Sigma_i$分别表示第$i\in\left\{0,1\right\}$类示例的集合、均值向量、协方差矩阵。

样本到直线的投影

将数据投影到直线$\mathbf{w}$上(只有中心也就是均值)，则两个类别样本中心在直线上的投影分别是$\mathbf{w}^T\mu_0$和$\mathbf{w}^T\mu_1$
将所有样本都投射到直线上，则两类样本的协方差分别为$\mathbf{w}^T\Sigma_0\mathbf{w}$和$\mathbf{w}^T\Sigma_1\mathbf{w}$
直线都是一维的，$\mathbf{w}^T\mu_0$和$\mathbf{w}^T\mu_1$和$\mathbf{w}^T\Sigma_0\mathbf{w}$和$\mathbf{w}^T\Sigma_1\mathbf{w}$都是实数。

企图

我们想让同类样本在这条直线上的投影点尽可能地接近，则$\mathbf{w}^T\Sigma_0\mathbf{w}+\mathbf{w}^T\Sigma_1\mathbf{w}$要尽可能小，
同时异类的样本投影点要尽可能地远，这就要使得$||\mathbf{w}^T\mu_0-\mathbf{w}^T\mu_1||_2^2$尽可能地大。
同时考虑两者则定义：

$$\begin{aligned} J&=\dfrac{||\mathbf{w}^T\mu_0-\mathbf{w}^T\mu_1||_2^2}{\mathbf{w}^T\Sigma_0\mathbf{w}+\mathbf{w}^T\Sigma_1\mathbf{w}}\\ &=\dfrac{\mathbf{w}^T(\mu_0-\mu_1)(\mu_0-\mu_1)^T\mathbf{w}}{\mathbf{w}^T(\Sigma_0+\Sigma_1)\mathbf{w}}\\ \end{aligned}$$

类内散度矩阵

$$\begin{aligned} S_{w}&=\Sigma_0+\Sigma_1\\ &=\sum\limits_{\mathbf{w}\in{X_0}}(\mathbf{w}-\mu_0)(\mathbf{w}-\mu_0)^T+\sum\limits_{\mathbf{w}\in{X_1}}(\mathbf{w}-\mu_1)(\mathbf{w}-\mu_1)^T \end{aligned}$$

类间散度矩阵

$$S_{\mathbf{b}}=(\mu_0-\mu_1)(\mu_0-\mu_1)^T$$

新的J

$$J=\dfrac{\mathbf{w}^TS_{\mathbf{b}}\mathbf{w}}{\mathbf{w}^TS_{w}\mathbf{w}}$$
令 $\mathbf{w}^TS_{w}\mathbf{w}=1$这一步我没看懂为什么);
$$\left\{ \begin{aligned} &\min\limits_{\mathbf{w}}\quad{-\mathbf{w}^TS_b\mathbf{w}}\\ &s.t.\quad{\mathbf{w}^TS_w\mathbf{w}}=1\\ \end{aligned} \right.$$
则此时如果要确定 $\mathbf{w}$
改造得到 $F(\mathbf{w},\lambda)=-\mathbf{w}^TS_b\mathbf{w}+\lambda{\mathbf{w}^TS_w\mathbf{w}}-1$
$$\dfrac{\partial{F(\mathbf{w},\lambda)}}{\partial{\mathbf{w}}}=-S_b\mathbf{w}+\lambda S_w\mathbf{w}\\ 令\dfrac{\partial{F(\mathbf{w},\lambda)}}{\partial{\mathbf{w}}}=0\\ S_b\mathbf{w}=\lambda S_w\mathbf{w}\\ \because{S_b\mathbf{w}=(\mu_0-\mu_1)(\mu_0-\mu_1)^T\mathbf{w}}\\ 此时(\mu_0-\mu_1)^T\mathbf{w}=a\\ \therefore{S_b\mathbf{w}=a(\mu_0-\mu_1)}\\ a和\lambda都是常数\\ \therefore\mathbf{w}=S_w^{-1}(\mu_0-\mu_1)$$

新名词

瑞利商

广义特征值

定义：设$A$和$B$为$n$阶方阵，如果存在实数$\lambda$,使得方程$A\mathbf{x}=\lambda{B\mathbf{x}}$存在非零解，则称$\lambda$是$A$相对于$B$的广义特征值，$\mathbf{x}$是$A$相对于$B$的属于广义特征值$\lambda$的特征向量。
1：广义特征值是标准特征值得推广，当$B=I$是，广义特征值问题退化为标准特征值问题
2：特征向量是非零的
3：广义特征值的求解

$$(A-\lambda{B})\mathbf{x}=0\text{或者}(\lambda{B-A})\mathbf{x}=0\\ \rightarrow特征方程\mathop{det}(A-\lambda{B})=0\\ 求得\lambda后代入原方程A\mathbf{x}=\lambda{B\mathbf{x}}可以求出\mathbf{x}$$

厄米特矩阵（Hermitian Conjugate Matrix）

厄米特矩阵（Hermitian Conjugate Matrix， 又译作“埃尔米特矩阵”或“厄米矩阵”），指的是自共轭矩阵。矩阵中每一个第i 行第j 列的元素都与第j 行第i 列的元素的共轭相等
n阶复方阵A的对称单元互为共轭，即A的共轭转置矩阵等于它本身，则A是厄米特矩阵(Hermitian Matrix)。
例如：矩阵

$$\left(\begin{matrix} 3&2+i\\ 2-i&1 \end{matrix}\right)$$ 那么A就是一个自共轭矩阵。
显然，埃尔米特矩阵主对角线上的元素都是实数的，其特征值也是实数。对于只包含实数元素的矩阵（实矩阵），如果它是对称阵，即所有元素关于主对角线对称，那么它也是埃尔米特矩阵。也就是说，实对称矩阵是埃尔米特矩阵的特例。

到底什么是瑞利商

$A$和$B$都是$n$阶厄米特矩阵，且$B$正定，则称$R(\mathbf{x})=\dfrac{\mathbf{x}^TA\mathbf{x}}{\mathbf{x}^TB\mathbf{x}},(x\neq{0})$为$A$相对于$B$的瑞利商。
设$\lambda_i,\mathbf{x}_i$为$A$相对于$B$的广义特征值和特征向量，且$\lambda_1\leq\lambda_2\leq\cdots\leq\lambda_n$
$\mathbf{x_1},\mathbf{x_2},\cdots,\mathbf{x_n}$所以，$\forall{\mathbf{x}\in{C^n}}$,$\exists a_1,a_2,\cdots,a_n\in C$使得$\mathbf{x}=\sum\limits_{i=1}^{n}a_i\mathbf{x}_i$

$$\begin{aligned} \mathbf{x}^TB\mathbf{x}&=\left(\sum\limits_{i=1}^{n}a_i\mathbf{x}_i\right)^TB\left(\sum\limits_{i=1}^{n}a_i\mathbf{x}_i\right)\\ &=\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{n}a_ia_j{\mathbf{x}_i}^TB\mathbf{x}_j\\ &=\sum\limits_{i=1}^{n}a_ia_i{\mathbf{x}_i}^TB\mathbf{x}_i\\ &=\sum\limits_{i=1}^{n}\left|a_i\right|^2 \\ \\ \end{aligned}$$
$$\begin{aligned} \mathbf{x}^TA\mathbf{x}&=\left(\sum\limits_{i=1}^{n}a_i\mathbf{x}_i\right)^TA\left(\sum\limits_{i=1}^{n}a_i\mathbf{x}_i\right)\\ &=\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{n}a_ia_j{\mathbf{x}_i}^TA\mathbf{x}_j\\ &=\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{n}a_ia_j{\mathbf{x}_i}^T\lambda_jB\mathbf{x}_j\\ &=\sum\limits_{i=1}^{n}a_ia_i{\mathbf{x}_i}^T\lambda_iB\mathbf{x}_i\\ &=\sum\limits_{i=1}^{n}\lambda_i\left|a_i\right|^2 \\ \\ \end{aligned}$$
$$R(\mathbf{x})=\dfrac{\sum\limits_{i=1}^{n}\lambda_i\left|a_i\right|^2 }{\sum\limits_{i=1}^{n}\left|a_i\right|^2 }$$
注:属于不同特征值的特征向量线性无关
实对称矩阵的属于不同特征值的特征向量正交
证明:
$$\min\limits_{\mathbf{x}\neq\mathbf{0}}R(\mathbf{x})=\lambda_1\\ \max\limits_{\mathbf{x}\neq\mathbf{0}}R(\mathbf{x})=\lambda_n\\ $$
前提：
设 $\lambda_i,\mathbf{x}_i$为 $A$相对于$B$的广义特征值和特征向量，且 $\lambda_1\leq\lambda_2\leq\cdots\leq\lambda_n$
$\mathbf{x_1},\mathbf{x_2},\cdots,\mathbf{x_n}$线性无关，所以， $\forall{\mathbf{x}\in{C^n}}$, $\exists a_1,a_2,\cdots,a_n\in C$使得 $\mathbf{x}=\sum\limits_{i=1}^{n}a_i\mathbf{x}_i$
证明：
$$\begin{aligned} 如果\mathbf{x}=\mathbf{x}_1\\ \because\mathbf{x}=\sum\limits_{i=1}^{n}a_i\mathbf{x}_i\\ \therefore{a_1=1;a2\sim{a_n}}=0\\ 此时R(x)=\lambda_1\\ R(\mathbf{x})=\dfrac{\sum\limits_{i=1}^{n}\lambda_i\left|a_i\right|^2 }{\sum\limits_{i=1}^{n}\left|a_i\right|^2 }\ge\dfrac{\sum\limits_{i=1}^{n}\lambda_1\left|a_i\right|^2 }{\sum\limits_{i=1}^{n}\left|a_i\right|^2 }=\lambda_1\\ \therefore\min\limits_{\mathbf{x}\neq\mathbf{0}}R(\mathbf{x})=\lambda_1\\ 如果\mathbf{x}=\mathbf{x}_n\\ \therefore{a_n=1;a_1\sim{a_{n-1}}}=0\\ 此时R(x)=\lambda_n\\ R(\mathbf{x})=\dfrac{\sum\limits_{i=1}^{n}\lambda_i\left|a_i\right|^2 }{\sum\limits_{i=1}^{n}\left|a_i\right|^2 }\le\dfrac{\sum\limits_{i=1}^{n}\lambda_n\left|a_i\right|^2 }{\sum\limits_{i=1}^{n}\left|a_i\right|^2 }=\lambda_n\\ \therefore\max\limits_{\mathbf{x}\neq\mathbf{0}}R(\mathbf{x})=\lambda_n\\ \end{aligned}$$

拉格朗日乘子法

什么是拉格朗日乘子法

基本的拉格朗日乘子法就是求函数$f(x_1,x_2,\dots)$在约束条件$g(x_1,x_2,\dots)=0$下的极值的方法。
其主要思想是将约束条件函数与原函数联立，从而求出使原函数取得极值的各个变量的解。

一般形式和解法

对于具有$\ell$个等式约束的n维优化问题

$$\left\{ \begin{aligned} &\min{f(x_1,x_2,\dots,x_n)} \\ s.t.\space{h_k(x_1,x_2,\dots,x_n)}&\le 0,\{i=1,2,\dots,\ell\}\\ \end{aligned} \right.$$
把原目标函数 $f(x)$ 改造成为如下形式的新的目标函数
$$F(x,\lambda)=f(x)+\sum\limits_{i=1}^{\ell}\lambda_kh_k(x)$$
式中的 $h_k(x)$就是原目标函数 $f(x)$的等式约束条件，而待定系数 $\lambda_k$称为拉格朗日乘子。这种方法称为拉格朗日乘子法。
在极值点处，有 $\dfrac{\partial{F(x,\lambda)}}{x_i}=0,\{i=1,2,\dots,n\}$和 $\dfrac{\partial{F(x,\lambda)}}{\lambda_k}=0,\{k=1,2,\dots,\ell\}$，共有 $n+\ell$个方程，足以算出这 $n+\ell$个变量，此法也称为升维法。