（《机器学习》完整版系列）第3章 线性模型——3.3 线性判别分析LDA（将平面上点投影到线上）

在属性坐标系中先找到一条过原点的线，将平面上点投影到这条线上，从而将“平面上点的分类”转化为“线上点的分类”。

线性判别分析

二分类LDA

线性判别分析（LDA）【西瓜书图3.3】所示，采用“博文待写小节”中的属性坐标系，在该坐标系中先找到一条过原点的线，将平面上点投影到这条线上，从而将“平面上点的分类”转化为“线上点的分类”。

1.理解LDA

表达式${\mathbf{w}}^{\mathrm{T}}\mathbf{x}$是两同维向量的内积（点乘）注：向量内积的另外表示有$<\mathbf{w},\mathbf{x}>$和$\mathbf{w}\cdot \mathbf{x}$\ ，其几何意义为向量$\mathbf{x}$在向量$\mathbf{w}$上的投影
，在该坐标系下仍为一个向量。 然而，通常将向量$\mathbf{w}$延伸成一个数轴$Oy$，则投影点（垂点）在该数轴上的坐标$y$即为一个标量，故有线性表达式$y={\mathbf{w}}^{\mathrm{T}}\mathbf{x}$。

【西瓜书图3.3】中，有一个坐标系$O\mathbf{x}$（视为超平面），用于放样本点 { x i } i = 1 m \{\boldsymbol{x}_i\}_{i=1}^m {xi​}i=1m​，在该坐标系中另有一个数轴$Oy$（一维坐标系）用于放样本点的回归值$y_i$，数轴$Oy$的原点与坐标系$O\mathbf{x}$的原点重合，数轴方向为向量$\mathbf{w}$的方向，将上述线性表达式应用于每个样本点，即有变换关系式$y_i={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i$，几何意义为样本点（多维）到数轴（一维）上的投影，这种情况下有个有趣的结果：投影点即为该样本的回归值。

现在在坐标系$O\mathbf{x}y$（即$O\mathbf{x}+Oy$）中每样本点${\mathbf{x}}_i$有对应预测的回归值$y_i$和实际的标记（“$+$”或“$-$”），让数轴$Oy$固定原点旋转，通过旋转实现图中的如下“尽可能”：

（1）类内“尽可能紧凑”——可用方差来体现：类内方差尽可能小。 因有两类，故为两类类内方差之和尽可能小；

（2）类间“尽可能远”——可用距离来体现：类间距离尽可能大。

综合目标为最大化$J$
$$\begin{array}{r}J=\frac{\text{类间距离}}{\text{正例类内方差+反例类内方差}}\end{array}\text{\hspace{1em}(1)}$$

2.式子表达

将样本集按正样本和负样本分开，正例样本集为 X 0 = { x i + } i = 1 m + \boldsymbol{X}_0=\{\boldsymbol{x}_i^+\}_{i=1}^{m^+} X0​={xi+​}i=1m+​，反例样本集为 X 1 = { x i − } i = 1 m − \boldsymbol{X}_1=\{\boldsymbol{x}_i^-\}_{i=1}^{m^-} X1​={xi−​}i=1m−​，其中，$(m=m^{+}+m^{-})$，则形成表3.1。

表3.1中的（协）方差是省去了分母的（这是为了方便），实际是离差平方和，即
$$\begin{array}{r}\{\begin{array}{l}{\mathbf{\Sigma }}_0=\sum _{\begin{array}{c}\mathbf{x}\in {\mathbf{X}}_0\end{array}}(\mathbf{x}-{\mathbf{\mu }}_0)(\mathbf{x}-{\mathbf{\mu }}_0{)}^{\mathrm{T}}\\ {\mathbf{\Sigma }}_1=\sum _{\begin{array}{c}\mathbf{x}\in {\mathbf{X}}_1\end{array}}(\mathbf{x}-{\mathbf{\mu }}_1)(\mathbf{x}-{\mathbf{\mu }}_1{)}^{\mathrm{T}}\end{array}\end{array}\text{\hspace{1em}(2)}$$
两类之间的距离用两类的中心点间的距离表示，为方便取其平方。 再由上述综合目标式(1)即得【西瓜书式(3.32)】。

定义类内散度（${\mathbf{S}}_{\mathrm{w}}$：within-class scatter matrix）和类间散度（${\mathbf{S}}_{\mathrm{b}}$：between-class scatter matrix）后，即得LDA的最大化目标【西瓜书式(3.35)】，其分子的推导补充如下：
$$\begin{array}{rl}||{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0-{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1|{|}^2& =({\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0-{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1)({\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0-{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1{)}^{\mathrm{T}}\\ & ={\mathbf{w}}^{\mathrm{T}}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathrm{T}}\mathbf{w}\\ & ={\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathrm{b}}\mathbf{w}\end{array}\text{\hspace{1em}(3)}$$

【西瓜书式(3.35)】中分子和分母的对称性知，若${\mathbf{w}}^{\prime }$为其解，则$\alpha {\mathbf{w}}^{\prime }$也为其解，故可以调节$\alpha$的值到${\alpha }^{\prime }$，使得分母为1，此时令${\alpha }^{\prime }{\mathbf{w}}^{\prime }=\mathbf{w}$，则${\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathrm{w}}\mathbf{w}=1$，于是转化成优化问题【西瓜书式(3.36)】（注：为满足拉格朗日乘子法的要求，通过添加负号将$\max$变为$\min$）。

多分类LDA

对于多分类（如，$N$类），我们将标记转化为$N$维向量形式：当某样本$\mathbf{x}$属于第$k$类时，取标记向量为第$k$位为1，其余位全为0。 进一步地（转化为回归问题），将标记向量“放松”为$N$维“概率向量”$(p_1;p_2;\cdots ;p_N)$，即样本$\mathbf{x}$的标记向量由其属于各类的概率组成，当它实际属于第$k$类时，标记向量的第$k$位值最大。 然而，由于概率之和为1，故该“概率向量”的自由度为$(N-1)$维（设前$(N-1)$位自由），即样本$\mathbf{x}$对应于$(N-1)$维向量$\mathbf{P}=(p_1;p_2;\cdots ;p_{N-1})$。

作线性变换
$$\begin{array}{r}\mathbf{y}={\mathbf{W}}^{\mathrm{T}}\mathbf{x}\end{array}\text{\hspace{1em}(4)}$$
则现在向量$\mathbf{y}$对应于$(N-1)$维向量$\mathbf{P}=(p_1;p_2;\cdots ;p_{N-1})$，我们并不必关心其具体的对应关系，不妨取为最简单的“正比例”关系，即$\mathbf{y}=\alpha \mathbf{P}$。 由此得到向量$\mathbf{y}$可取$(N-1)$维，又已知样本$\mathbf{x}$为$d$维，故由式(4)可推得$\mathbf{W}$应为$d\times (N-1)$维矩阵。

由式(4)可得
$$\begin{array}{r}\mathbf{y}-{\mathbf{\mu }}_{\mathbf{y}}={\mathbf{W}}^{\mathrm{T}}(\mathbf{x}-{\mathbf{\mu }}_{\mathbf{x}})\end{array}\text{\hspace{1em}(5)}$$
其中，${\mathbf{\mu }}_{\mathbf{y}}$和${\mathbf{\mu }}_{\mathbf{x}}$分别为对应变量在取值范围内的均值。

有了上述准备后，我们可以对各类“散度”进行分析。

将样本集按类别进行分解，即$\mathbf{X}={\mathbf{X}}^1\cup {\mathbf{X}}^2\cup \cdots \cup {\mathbf{X}}^N$（依变换(4)有对应的$\mathbf{Y}={\mathbf{Y}}^1\cup {\mathbf{Y}}^2\cup \cdots \cup {\mathbf{Y}}^N$），
则有
$$\begin{array}{rl}{\mathbf{S}}_{\mathrm{b}}& =\sum _{{\mathbf{x}}_i\in \mathbf{X}}({\mathbf{x}}_i-\mathbf{\mu })({\mathbf{x}}_i-\mathbf{\mu }{)}^{\mathrm{T}}-\sum _{k=1}^N\sum _{{\mathbf{x}}_i\in {\mathbf{X}}^k}({\mathbf{x}}_i-{\mathbf{\mu }}_k)({\mathbf{x}}_i-{\mathbf{\mu }}_k{)}^{\mathrm{T}}\\ & =\sum _{k=1}^N\sum _{{\mathbf{x}}_i\in {\mathbf{X}}^k}\left[({\mathbf{x}}_i-\mathbf{\mu })({\mathbf{x}}_i-\mathbf{\mu }{)}^{\mathrm{T}}-({\mathbf{x}}_i-{\mathbf{\mu }}_k)({\mathbf{x}}_i-{\mathbf{\mu }}_k{)}^{\mathrm{T}}\right]\\ & =\sum _{k=1}^N\sum _{{\mathbf{x}}_i\in {\mathbf{X}}^k}\left[\mathbf{\mu }{\mathbf{\mu }}^{\mathrm{T}}-{\mathbf{\mu }}_k{\mathbf{\mu }}_k^{\mathrm{T}}+2({\mathbf{\mu }}_k-\mathbf{\mu }){\mathbf{x}}_i^{\mathrm{T}}\right]\\ & =\sum _{k=1}^N\left[m_k(\mathbf{\mu }{\mathbf{\mu }}^{\mathrm{T}}-{\mathbf{\mu }}_k{\mathbf{\mu }}_k^{\mathrm{T}})+2({\mathbf{\mu }}_k-\mathbf{\mu })m_k{\mathbf{\mu }}_k^{\mathrm{T}}\right]\\ & =\sum _{k=1}^N{m}_k\left[\mathbf{\mu }{\mathbf{\mu }}^{\mathrm{T}}+{\mathbf{\mu }}_k{\mathbf{\mu }}_k^{\mathrm{T}}+2{\mathbf{\mu }}_k{\mathbf{\mu }}^{\mathrm{T}}\right]\\ & =\sum _{k=1}^N{m}_k(\mathbf{\mu }-{\mathbf{\mu }}_k)(\mathbf{\mu }-{\mathbf{\mu }}_k{)}^{\mathrm{T}}\end{array}\text{\hspace{1em}(6)}$$
即为【西瓜书式(3.43)】。

利用式(5)就可以得到$\mathbf{y}$各“散度”。 如“全局散度”
$$\begin{array}{rl}{\mathbf{S}}_{\mathrm{t}}^{\mathbf{y}}& =\sum _{{\mathbf{y}}_i\in \mathbf{Y}}({\mathbf{y}}_i-{\mathbf{\mu }}_{\mathbf{y}})({\mathbf{y}}_i-{\mathbf{\mu }}_{\mathbf{y}}{)}^{\mathrm{T}}\\ & =\sum _{{\mathbf{x}}_i\in \mathbf{X}}({\mathbf{W}}^{\mathrm{T}}({\mathbf{x}}_i-\mathbf{\mu }))({\mathbf{W}}^{\mathrm{T}}({\mathbf{x}}_i-\mathbf{\mu }){)}^{\mathrm{T}}\\ & ={\mathbf{W}}^{\mathrm{T}}\left[\sum _{{\mathbf{x}}_i\in \mathbf{X}}({\mathbf{x}}_i-\mathbf{\mu })({\mathbf{x}}_i-\mathbf{\mu }{)}^{\mathrm{T}}\right]\mathbf{W}\\ & ={\mathbf{W}}^{\mathrm{T}}{\mathbf{S}}_{\mathrm{t}}\mathbf{W}\end{array}\text{\hspace{1em}(7)}$$

其他几个“散度”也易得到，由此，将【西瓜书式(3.35)】推广到多分类LDA【西瓜书式(3.44)】。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：3.2 对数几率回归（俗称：逻辑回归，但它既不“逻辑”也不是“回归”）
下一篇：3.4 纠错输出码（奇想：用编码来分类）