（《机器学习》完整版系列）第6章 支持向量机SVM——6.5 核对率回归和核线性判别分析

核函数特征映射推广到更一般的情形，除了SVM和SVR中使用核方法进行扩充外，这里再讨论核对率回归和核线性判别分析。
用核方法扩展LDA算法形成核线性判别分析KLDA算法

核方法

总结前述的核函数特征映射，将其推广到更一般的情形，即表示定理【西瓜书定理6.2】，表示定理的关键在于【西瓜书式(6.57)】是关于$h$的函数，而$h$本身又是关于$\mathbf{x}$的函数，其特例：$\Omega =0$，$\ell$为$h({\mathbf{x}}_i)$的函数。

基于核函数的学习方法统称为“核方法”。

核对率回归

核对率回归：设$h({\mathbf{x}}_i)={\mathbf{\beta }}^{\mathrm{T}}{\hat{\mathbf{x}}}_i$，则【西瓜书式(3.27)】，目标变为
$$\begin{array}{r}\min \ell (h)=\sum _{i=1}^m[-y_{i}h({\mathbf{x}}_i)+\ln (1+{\mathrm{e}}^{h({\mathbf{x}}_i)})]\end{array}\text{\hspace{1em}(6.24)}$$

再取$\Omega =0$，则表示定理的优化函数【西瓜书式(6.57)】变为
$$\begin{array}{r}F(h)=\ell (h)\end{array}\text{\hspace{1em}(6.25)}$$
由表示定理，其解可表示为【西瓜书式(6.58)】
$$\begin{array}{rl}{h}^{\ast }(\mathbf{x})& =\sum _{i=1}^m{\alpha }_i^{\ast }\kappa (\mathbf{x},{\mathbf{x}}_i)\\ & ={{\mathbf{\alpha }}^{\ast }}^{\mathrm{T}}\kappa (\mathbf{x},{\mathbf{x}}_{1:m})\end{array}\text{\hspace{1em}(6.26)}$$
其中，${\mathbf{\alpha }}^{\ast }=({\alpha }_1^{\ast };{\alpha }_2^{\ast };\cdots ;{\alpha }_m^{\ast }),\kappa (\mathbf{x},{\mathbf{x}}_{1:m})=(\kappa (\mathbf{x},{\mathbf{x}}_1);\kappa (\mathbf{x},{\mathbf{x}}_2);\cdots ;\kappa (\mathbf{x},{\mathbf{x}}_m))$

由式(6.25)得
$$\begin{array}{rl}\underset{h\in \mathbb{H}}{\min }\ell (h)& =\ell (h^{\ast })\\ & =\sum _{i=1}^m[-y_i{h}^{\ast }({\mathbf{x}}_i)+\ln (1+{\mathrm{e}}^{h^{\ast }({\mathbf{x}}_i)})]\\ & =\sum _{i=1}^m[-y_i{{\mathbf{\alpha }}^{\ast }}^{\mathrm{T}}\kappa ({\mathbf{x}}_i,{\mathbf{x}}_{1:m})+\ln (1+{\mathrm{e}}^{{{\mathbf{\alpha }}^{\ast }}^{\mathrm{T}}\kappa ({\mathbf{x}}_i,{\mathbf{x}}_{1:m})})]\\ & ⩾\underset{\mathbf{\alpha }}{\min }\sum _{i=1}^m[-y_i{\mathbf{\alpha }}^{\mathrm{T}}\kappa ({\mathbf{x}}_i,{\mathbf{x}}_{1:m})+\ln (1+{\mathrm{e}}^{{\mathbf{\alpha }}^{\mathrm{T}}\kappa ({\mathbf{x}}_i,{\mathbf{x}}_{1:m})})]\end{array}\text{\hspace{1em}(6.27)}$$

比较式(6.27)与【西瓜书式(3.27)】，$\mathbf{\alpha }$对应于$\mathbf{\beta }$、$\kappa ({\mathbf{x}}_i,{\mathbf{x}}_{1:m})$对应于${\hat{x}}_i$，直接套用【西瓜书式(3.27)】的解，即得到式(6.27)的解，取${\mathbf{\alpha }}^{\ast }$为该解即可。

核线性判别分析

线性判别分析（【西瓜书第3.4节LDA】）用核方法扩展形成KLDA算法，其关键点体现在映射关系表6.6中

从表6.6中我们可以看到特征空间中的公式均含有$\varphi (\mathbf{x})$，然而，我们并不知道它，而是知道核函数$\kappa (\mathbf{x},{\mathbf{x}}_i)$，由其隐式地表示
$$\kappa (\mathbf{x},{\mathbf{x}}_i)={\varphi ({\mathbf{x}}_i)}^{\mathrm{T}}\varphi (\mathbf{x})$$

【西瓜书式(6.60)】为$\max$，其倒数为$\min$可作为损失函数，在表示定理【西瓜书定理6.2】中取特殊情况：
$$\begin{array}{rl}\Omega & \equiv 0\\ \ell & =J^{-1}(\mathbf{w})\end{array}$$
则【西瓜书式(6.57)】变为
$$\begin{array}{r}\min F(h)=\min (0+J^{-1}(\mathbf{w}))=\max J(\mathbf{w})\end{array}\text{\hspace{1em}(6.28)}$$
即【西瓜书式(6.57)】变为【西瓜书式(6.60)】，这即为优化目标。

假定通过表6.6中对应方法求出了最优模型$h(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})$，而表示定理说这个最优解具有【西瓜书式(6.58)】的形式，即
$$\begin{array}{rl}h(\mathbf{x})& ={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})\\ & =\sum _{i=1}^m{\alpha }_i\kappa (\mathbf{x},{\mathbf{x}}_i)\text{（由【西瓜书式(6.58)】）}\\ & =\sum _{i=1}^m{\alpha }_i(\varphi ({\mathbf{x}}_i){)}^{\mathrm{T}}\varphi (\mathbf{x})\\ & ={\left[\sum _{i=1}^m{\alpha }_i\varphi ({\mathbf{x}}_i)\right]}^{\mathrm{T}}\varphi (\mathbf{x})\end{array}$$

由此有
$$\begin{array}{r}\mathbf{w}=\sum _{i=1}^m{\alpha }_i\varphi ({\mathbf{x}}_i)\end{array}\text{\hspace{1em}(6.29)}$$

假定训练集由$n$个类（集）组成：$D={\mathbf{X}}_1\bigcup {\mathbf{X}}_2\bigcup \cdots \bigcup {\mathbf{X}}_n$，其中，${\mathbf{X}}_i$为第$i$类的样本组成的集，但以矩阵的形式体现。

将指示函数式用到这里，有
$$\begin{array}{r}\mathbb{I}({\mathbf{x}}_j\in {\mathbf{X}}_i)=\{\begin{array}{l}1,\text{当xj∈Xi}\\ 0,\text{当xj∈/Xi}\end{array}\end{array}$$

为方便计，我们改写一下形式：
$$\begin{array}{r}{\mathbb{I}}_i({\mathbf{x}}_j)=\{\begin{array}{l}1,\text{当xj∈Xi}\\ 0,\text{当xj∈/Xi}\end{array}\end{array}$$

将${\mathbb{I}}_i$作用于$D$的所有样本，则得到一个向量，记为
$$\begin{array}{r}{\mathbb{I}}_i({\mathbf{x}}_{1:m})\stackrel{\mathrm{def}}{=}({\mathbb{I}}_i({\mathbf{x}}_1);{\mathbb{I}}_i({\mathbf{x}}_2);\cdots ;{\mathbb{I}}_i({\mathbf{x}}_m))\end{array}\text{\hspace{1em}(6.30)}$$

因$\varphi ({\mathbf{x}}_i)$为（列）向量，将$\varphi$作用于$D$的所有样本，则得到一个矩阵，记为
$$\begin{array}{r}(\varphi ({\mathbf{x}}_{1:m}){)}^{\mathrm{T}}\stackrel{\mathrm{def}}{=}(\varphi ({\mathbf{x}}_1),\varphi ({\mathbf{x}}_2),\cdots ,\varphi ({\mathbf{x}}_m))\end{array}\text{\hspace{1em}(6.31)}$$
则
$$\begin{array}{r}(\varphi ({\mathbf{x}}_{1:m}))=((\varphi ({\mathbf{x}}_1){)}^{\mathrm{T}};(\varphi ({\mathbf{x}}_2){)}^{\mathrm{T}};\cdots ;(\varphi ({\mathbf{x}}_m){)}^{\mathrm{T}})\text{（由下面式(0.2）}\end{array}\text{\hspace{1em}(6.32)}$$
用到公式：
$$\begin{array}{rl}{\mathbf{X}}^{\mathrm{T}}& =({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n{)}^{\mathrm{T}}\\ & =({\mathbf{x}}_1^{\mathrm{T}};{\mathbf{x}}_2^{\mathrm{T}};\cdots ;{\mathbf{x}}_n^{\mathrm{T}})\end{array}\text{\hspace{1em}(0.2)}$$
由式(6.31)、式(6.32)有
$$\begin{array}{rl}\varphi ({\mathbf{x}}_{1:m})(\varphi ({\mathbf{x}}_{1:m}){)}^{\mathrm{T}}& =\left(\varphi ({\mathbf{x}}_1{)}^{\mathrm{T}};\varphi ({\mathbf{x}}_2{)}^{\mathrm{T}};\cdots ,\varphi ({\mathbf{x}}_m{)}^{\mathrm{T}}\right)\left(\varphi ({\mathbf{x}}_1),\varphi ({\mathbf{x}}_2),\cdots ,\varphi ({\mathbf{x}}_m)\right)\\ & =([\varphi ({\mathbf{x}}_i{)}^{\mathrm{T}}\varphi ({\mathbf{x}}_j){]}_{ij})\\ & =([\kappa (x_i,x_j){]}_{ij})\text{（由【西瓜书式(6.22)】）}\\ & =\mathbf{K}\end{array}\text{\hspace{1em}(6.33)}$$

由式(6.30)、式(6.31)，改写【西瓜书式(6.61)】：
$$\begin{array}{rl}{\mu }_i^{\varphi }& =\frac{1}{m}\left[\sum _{{\mathbf{x}}_j\in {\mathbf{X}}_i}\varphi ({\mathbf{x}}_j)+\sum _{{\mathbf{x}}_j\notin {\mathbf{X}}_i}0\right]\\ & =\frac{1}{m_i}\left[\sum _{{\mathbf{x}}_j\in D}\mathbb{I}({\mathbf{x}}_j\in {\mathbf{X}}_i)\varphi ({\mathbf{x}}_j)\right]\\ & =\frac{1}{m_i}(\varphi ({\mathbf{x}}_{1:m}){)}^{\mathrm{T}}{\mathbb{I}}_i({\mathbf{x}}_{1:m})\end{array}\text{\hspace{1em}(6.34)}$$

同样有
$$\begin{array}{r}{\mu }_j^{\varphi }=\frac{1}{m_j}(\varphi ({\mathbf{x}}_{1:m}){)}^{\mathrm{T}}{\mathbb{I}}_j({\mathbf{x}}_{1:m})\end{array}\text{\hspace{1em}(6.35)}$$

由式(6.34)、式(6.35)，有
$$\begin{array}{r}{\mu }_i^{\varphi }-{\mu }_j^{\varphi }=(\varphi ({\mathbf{x}}_{1:m}){)}^{\mathrm{T}}\left[\frac{1}{m_i}{\mathbb{I}}_i({\mathbf{x}}_{1:m})-\frac{1}{m_j}{\mathbb{I}}_j({\mathbf{x}}_{1:m})\right]\end{array}\text{\hspace{1em}(6.36)}$$

由式(6.36)改写【西瓜书式(6.62)】：
$$\begin{array}{rl}{\mathbf{S}}_{\mathrm{b}}^{\varphi }& =(\varphi ({\mathbf{x}}_{1:m}){)}^{\mathrm{T}}\left[\frac{1}{m_1}{\mathbb{I}}_1({\mathbf{x}}_{1:m})-\frac{1}{m_0}{\mathbb{I}}_0({\mathbf{x}}_{1:m})\right]{\left((\varphi ({\mathbf{x}}_{1:m}){)}^{\mathrm{T}}\left[\frac{1}{m_1}{\mathbb{I}}_1-\frac{1}{m_0}{\mathbb{I}}_0\right]\right)}^{\mathrm{T}}\\ & =(\varphi ({\mathbf{x}}_{1:m}){)}^{\mathrm{T}}\left[\frac{{\mathbb{I}}_1({\mathbf{x}}_{1:m})}{m_1}-\frac{{\mathbb{I}}_0({\mathbf{x}}_{1:m})}{m_0}\right]{\left[\frac{{\mathbb{I}}_1({\mathbf{x}}_{1:m})}{m_1}-\frac{{\mathbb{I}}_0({\mathbf{x}}_{1:m})}{m_0}\right]}^{\mathrm{T}}\varphi ({\mathbf{x}}_{1:m})\\ & ={\varphi }^{\mathrm{T}}[\cdot ][\cdot {]}^{\mathrm{T}}\varphi \text{（简记）}\end{array}\text{\hspace{1em}(6.37)}$$

由式(6.31)改写式(6.29)：
$$\begin{array}{r}\mathbf{w}=\varphi ({\mathbf{x}}_{1:m}{)}^{\mathrm{T}}\mathbf{\alpha },(\mathbf{\alpha }=({\alpha }_1;{\alpha }_2;\cdots ;{\alpha }_m))\end{array}\text{\hspace{1em}(6.38)}$$

由式(6.37)、式(6.38)有（必要时采用简记）
$$\begin{array}{rl}{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathrm{b}}^{\varphi }\mathbf{w}& ={\left(\varphi ({\mathbf{x}}_{1:m}{)}^{\mathrm{T}}\mathbf{\alpha }\right)}^{\mathrm{T}}{\mathbf{S}}_{\mathrm{b}}^{\varphi }(\varphi ({\mathbf{x}}_{1:m}){)}^{\mathrm{T}}\mathbf{\alpha }\text{（由式(6.38)）}\\ & ={\mathbf{\alpha }}^{\mathrm{T}}\varphi [{\varphi }^{\mathrm{T}}[\cdot ][\cdot {]}^{\mathrm{T}}\varphi ]{\varphi }^{\mathrm{T}}\mathbf{\alpha }\text{（由式(6.37)）}\\ & ={\mathbf{\alpha }}^{\mathrm{T}}(\varphi {\varphi }^{\mathrm{T}})[\cdot ][\cdot {]}^{\mathrm{T}}(\varphi {\varphi }^{\mathrm{T}})\mathbf{\alpha }\\ & ={\mathbf{\alpha }}^{\mathrm{T}}\mathbf{K}[\cdot ][\cdot {]}^{\mathrm{T}}\mathbf{K}\mathbf{\alpha }\text{（由式(6.33)）}\\ & ={\mathbf{\alpha }}^{\mathrm{T}}(\mathbf{K}[\cdot ])([\cdot {]}^{\mathrm{T}}{\mathbf{K}}^{\mathrm{T}})\mathbf{\alpha }\text{（由K的对称性）}\\ & ={\mathbf{\alpha }}^{\mathrm{T}}(\mathbf{K}[\cdot ])(\mathbf{K}[\cdot ]{)}^{\mathrm{T}}\mathbf{\alpha }\end{array}\text{\hspace{1em}(6.39)}$$
其中
$$\begin{array}{rl}\mathbf{K}[\cdot ]& =\mathbf{K}\left[\frac{{\mathbb{I}}_1({\mathbf{x}}_{1:m})}{m_1}-\frac{{\mathbb{I}}_0({\mathbf{x}}_{1:m})}{m_0}\right]\\ & =\frac{1}{m_1}\mathbf{K}{\mathbb{I}}_1({\mathbf{x}}_{1:m})-\frac{1}{m_0}\mathbf{K}{\mathbb{I}}_0({\mathbf{x}}_{1:m})\end{array}$$

引入【西瓜书式(6.66)$\sim$(6.69)】定义及记号$1_i\stackrel{\mathrm{def}}{=}{\mathbb{I}}_i({\mathbf{x}}_{1:m})$，则式(6.39)变为
$$\begin{array}{rl}{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathrm{b}}^{\varphi }\mathbf{w}& ={\mathbf{\alpha }}^{\mathrm{T}}\left[\frac{1}{m_1}\mathbf{K}{1}_1-\frac{1}{m_0}\mathbf{K}{1}_0\right]{\left[\frac{1}{m_1}\mathbf{K}{1}_1-\frac{1}{m_0}\mathbf{K}{1}_0\right]}^{\mathrm{T}}\mathbf{\alpha }\\ & ={\mathbf{\alpha }}^{\mathrm{T}}({\hat{\mathbf{\mu }}}_1-{\hat{\mathbf{\mu }}}_0)({\hat{\mathbf{\mu }}}_1-{\hat{\mathbf{\mu }}}_0{)}^{\mathrm{T}}\mathbf{\alpha }\\ & ={\mathbf{\alpha }}^{\mathrm{T}}\mathbf{M}\mathbf{\alpha }\end{array}\text{\hspace{1em}(6.40)}$$

与上述推导式(6.40)过程类似，有
$$\begin{array}{rl}{\mathbf{w}}^{\mathrm{T}}{\mathbf{S}}_{\mathrm{w}}^{\varphi }\mathbf{w}& ={\mathbf{\alpha }}^{\mathrm{T}}\mathbf{N}\mathbf{\alpha }\end{array}\text{\hspace{1em}(6.41)}$$

由式(6.40)、式(6.41)，优化目标由【西瓜书式(6.60)】变为【西瓜书式(6.70)】，这样，就可以使用第3章的线性判别分析（LDA）求解（参照【西瓜书式(3.35)】的求解过程）。

问题来了：【西瓜书式(6.60)】与【西瓜书式(6.70)】这两个式子形式上差不多，为什么不直接求前者？

因为，前者是求$\mathbf{w}$，由式(6.29)知，它与$\varphi ({\mathbf{x}}_i)$函数关连，而该函数通常是不知道的。 转化成后者之后，$\varphi ({\mathbf{x}}_i)$函数相关的内容成了核矩阵（式(6.33)），核矩阵$\mathbf{K}$体现在$\mathbf{M}$和$\mathbf{N}$中，而核矩阵$\mathbf{K}$通常是已知的，也就是【西瓜书式(6.70)】避开了未知的$\varphi ({\mathbf{x}}_i)$函数，这就是目标表达式转换的原因。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：6.4 软间隔与正则化、支持向量回归
下一篇：7.1 贝叶斯决策论（贝叶斯学派与频率学派有很大的分岐）