机器学习-白板推导系列(七)-核方法（Kernel Method）

7. 核方法（Kernel Method）

7.1 背景介绍

7.1.1 概述

1. 问题引出
   线性可分的数据有时夹杂一点噪声，可以通过改进算法来实现分类，比如感知机的口袋算法和支持向量机的软间隔。但是有时候数据往往完全不是线性可分的，比如下面这种情况：
   
   • 在异或问题中数据往往不是线性可分的，但通过将数据映射到高维空间后就可以实现线性可分。可以认为高维空间中的数据比低维空间的数据更易线性可分。
   • 因此，对于异或问题，我们可以通过寻找一个映射$\varphi (x)$将低维空间中的数据x映射成高维空间中的$z$来实现数据的线性可分，例如：
     $$\underset{二维}{\underbrace{x=(x_1,x_2)}}\stackrel{\varphi (x)}{\to }\underset{三维}{\underbrace{z=(x_1,x_2,(x_1-x_2{)}^2)}}$$
     该数据就可以实现线性可分：
     
     从2维到3维可以认为是核方法的应用。
2. 解决方法
   我们可以用$PLA$和$SVM$来解决，对比$PLA$和$SVM$:
   对于分类问题，已学过的方法有PLA（感知机算法）和SVM：

线性可分	允许一点点错误	严格非线性
PLA	Pocket Alorithm	$\varphi (x)$+PLA
Hard-Margin SVM	Soft-Margin SVM	$\varphi (x)$+Hard-Margin SVM

其中$\varphi (x)$表示：非线性高维转换的函数。

3. 对于非线性可分问题有如下解决方法：

   • PLA：$多层感知机（神经网络）\Rightarrow DeepLearning$
   • SVM：核方法SVM

   对于这种问题，有想法是将非线性可分的数据集通过一个非线性转换函数$\varphi (x)$ 转换为线性可分数据。

7.1.2 核方法

1. 核方法简介
   核方法一般都在SVM中进行介绍，白板推导中将其独立出来，主要是为了理解其思想，不只可以用于SVM。
   • 核方法可以理解
     • $KernelMethod$ 从思想角度
     • $KernelTrick$从计算角度
     • $KernelFunction$ 重点
   • 核方法有如下两个重要作用：
     • $非线性带来高维转换（从模型角度）$
     • $对偶表示带来内积（从优化角度）$
2. 数学表示
   • 优化问题：
     $$\{\begin{array}{c}\underset{\lambda }{\min }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-{\sum }_{i=1}^N{\lambda }_i,i=1,2,\cdots ,N\\ {\lambda }_i\ge 0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(7.1.1)}$$
   • 将数据映射到高维空间$\varphi (x)$后也就需要求解以下优化问题：
     $$\{\begin{array}{c}\underset{\lambda }{\min }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j)-{\sum }_{i=1}^N{\lambda }_i,i=1,2,\cdots ,N\\ {\lambda }_i\ge 0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(7.1.2)}$$
   • 然而在上面的方法中如果先将$\varphi (x_i)$与$\varphi (x_j)$计算出来然后再做点积，由于维度特别高，加之得到$\varphi (x_i)$与$\varphi (x_j)$也需要计算量，因此$计算量是相当大的$，因此就有了$核方法$。
   • 通过使用核函数我们可以$直接得到\varphi (x_i)与\varphi (x_j)的内积$，正定核函数定义如下：
     $$\begin{gathered} \forall x,x^{{}^{\prime }}\in \mathcal{X},\exists \varphi :\mathcal{X}\mapsto \mathcal{H},\varphi \in \mathcal{H} \\ s.t.K(x,x^{{}^{\prime }})=\varphi (x_i{)}^T\varphi (x_j)=<\varphi (x_i),\varphi (x_j)>\text{\hspace{1em}(7.1.3)} \end{gathered}$$
     花体（$\mathcal{X}$）表示空间，$\mapsto$表示映射，则称$K(x,x^{{}^{\prime }})$是一个正定核函数。

   • 其中$\mathcal{H}$是Hilbert空间（完备的可能是无限维的被赋予内积的线性空间），如果去掉内积这个条件我们简单地称为核函数。
   • 假设有核函数$K(x,x^{\prime })=\exp (-\frac{(x-x^{\prime }{)}^2}{2{\sigma }^2})$；这样只需要计算 $x-x^{\prime }$ ，不必再求其内积，计算量大大减少。此技巧成为Kernel Trick。

因此，从以上过程可以看出核函数蕴含了两个作用：

• 高维转换
• 解决内积

---

7.2 正定核的两个定义

我们上一节理解了什么是核函数（一般指正定核函数），这一节咱们看看核函数的2个精准定义，以及精准定义之间的联系。

7.2.1 精准定义1

1. 定义1
   $$\begin{gathered} K:\mathcal{X}\times \mathcal{X}\mapsto \mathbb{R},\forall x,z\in \mathcal{X}有K(x,z)。 \\ 如果\exists \varphi :\mathcal{X}\mapsto \mathcal{H},\varphi \in \mathcal{H}(\mathcal{H}为希尔伯特空间) \\ s.t.K(x,x^{{}^{\prime }})=\varphi (x_i{)}^T\varphi (x_j)=<\varphi (x_i),\varphi (x_j)> \\ 那么称K(x,z)是正定核函数\text{\hspace{1em}(7.2.1)} \end{gathered}$$
   2.希尔伯特空间
   Hilbert空间（$完备的,可能是无限维的,被赋予内积的,线性空间$），如果去掉内积这个条件我们简单地称为核函数。
   • 完备的
     对极限操作是封闭的，即${\lim }_{n\to \infty }{K}_n=K\in \mathcal{H}$
   • 被赋予内积的
     被赋予内积的，满足如下3个条件则满足内积运算
     • 对称性：$<f,g>=<g,f>$
     • 正定性：$<f,f>\ge 0且“=”\iff f=0$
     • 线性：$<r_1{f}_1+r_2{f}_2,g>=r_1<f_1,g>+r_2<f_2,g>$
   • 线性空间
     • $\mathbf{u}+\mathbf{v}=\mathbf{v}+\mathbf{u},\forall \mathbf{u},\mathbf{v}\in \mathbf{V}$
     • $(\mathbf{u}+\mathbf{v})+\mathbf{w}=\mathbf{u}+(\mathbf{v}+\mathbf{w}),\forall \mathbf{u},\mathbf{v},\mathbf{w}\in \mathbf{V}$
     • $Thereisanelement0\in \mathbf{V}suchthat\mathbf{v}+0=\mathbf{v}forall\mathbf{v}\in \mathbf{V}$
     • $Foreach\mathbf{v}\in \mathbf{V}thereisanelement-\mathbf{v}suchthat\mathbf{v}+(-\mathbf{v})=0$
     • $c(\mathbf{u}+\mathbf{v})=c\mathbf{u}+c\mathbf{v},\forall u,v\in \mathbf{V}andc\in \mathbb{F}$
     • $(a+b)\mathbf{v}=a\mathbf{v}+b\mathbf{v},\forall a,b\in \mathbb{F}and\mathbf{v}\in \mathbf{V}$
     • $(ab)\mathbf{v}=a(b\mathbf{v}),\forall a,b\in \mathbb{F}and\mathbf{v}\in \mathbf{V}$
     • $1\mathbf{v}=\mathbf{v},\forall \mathbf{v}\in \mathbf{V}$

7.2.2 精准定义2

1. 定义2
   $$\begin{gathered} K:\mathcal{X}\times \mathcal{X}\mapsto \mathbb{R},\forall x,z\in \mathcal{X}有K(x,z)。 \\ 如果K(x,z)满足以下条件：①对称性;②正定性. \\ 那么称K(x,z)是正定核函数\text{\hspace{1em}(7.2.2)} \end{gathered}$$
   • 对称性$\iff K(x,z)=K(z,x);$
   • 正定性$\iff 任取N个元素x_1,x_2,\cdots ,x_N\in \mathcal{X}$，
     对应的$GrammatrixK=[K(x_i,x_j)](K\in {\mathbb{R}}^{N\times N})是半正定的$。
2. 关系
   若定义一为已知条件，那么我们需要证明定义二，即证明：
   $$K(x,z)=(\varphi (x{)}^T\varphi (z))\iff 对称性+矩阵K半正定\text{\hspace{1em}(7.2.3)}$$

7.3 正定核充要条件-必要性证明

1. 正定核函数的两个定义
   • 定义1
     $$\begin{gathered} K:\mathcal{X}\times \mathcal{X}\mapsto \mathbb{R},\forall x,z\in \mathcal{X}有K(x,z)。 \\ 如果\exists \varphi :\mathcal{X}\mapsto \mathcal{H},\varphi \in \mathcal{H}(\mathcal{H}为希尔伯特空间) \\ s.t.K(x,x^{{}^{\prime }})=\varphi (x_i{)}^T\varphi (x_j)=<\varphi (x_i),\varphi (x_j)> \\ 那么称K(x,z)是正定核函数 \end{gathered}$$
   • 定义2
     $$\begin{gathered} K:\mathcal{X}\times \mathcal{X}\mapsto \mathbb{R},\forall x,z\in \mathcal{X}有K(x,z)。 \\ 如果K(x,z)满足以下条件：①对称性;②正定性. \\ 那么称K(x,z)是正定核函数 \end{gathered}$$
   • 对称性$\iff K(x,z)=K(z,x);$
   • 正定性$\iff 任取N个元素x_1,x_2,\cdots ,x_N\in \mathcal{X}$，
     对应的$GrammatrixK=[K(x_i,x_j)](K\in {\mathbb{R}}^{N\times N})是半正定的$。
     我们根据公式(7.2.3)，由定义1推定义2(证明$必要性是充分条件。充分性是必要条件$)。
2. 必要性证明($\Rightarrow$)
   • 对称性证明
     $$\begin{gathered} K(x,z)=<\varphi (x),\varphi (z)> \\ K(z,x)=<\varphi (z),\varphi (x)> \\ 又内积具有对称性，即<\varphi (x),\varphi (z)>=<\varphi (z),\varphi (x)> \\ \therefore K(x,z)=K(z,x) \\ \therefore K(x,z)满足对称性 \end{gathered}$$
   • 正定性证明
     • 证明矩阵半正定的两种方法：
       $$\begin{gathered} ①特征值\ge 0 \\ ②\forall \alpha \in {\mathbb{R}}^n,{\alpha }^{T}A\alpha \ge 0 \end{gathered}$$
     • 我们用方法2，则欲证$Grammatrix:K=[K(x_i,x_j){]}_{N\times N}$半正定，即证：$\forall \alpha \in {\mathbb{R}}^n,{\alpha }^{T}K\alpha \ge 0$
       $$\begin{gathered} \because {\alpha }^{T}K\alpha ={\left(\begin{array}{cccc}{\alpha }_1& {\alpha }_2& \cdots & {\alpha }_N\end{array}\right)}_{1\times N}{\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1N}\\ a_{21}& a_{22}& \cdots & a_{2N}\\ ⋮& ⋮& \ddots & ⋮\\ a_{N1}& a_{N2}& \cdots & a_{NN}\end{array}\right]}_{N\times N}{\left(\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ ⋮\\ {\alpha }_N\end{array}\right)}_{N\times 1} \\ =\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{K}_{ij}=\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j<\varphi (x_i),\varphi (x_j)> \\ =\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j\varphi (x_i{)}^T\varphi (x_j)=\sum _{i=1}^N{\alpha }_i\varphi (x_i{)}^T\sum _{j=1}^N{\alpha }_j\varphi (x_j) \\ ={\left[\begin{array}{c}{\sum }_{i=1}^N{\alpha }_i\varphi (x_i)\end{array}\right]}^T\sum _{j=1}^N{\alpha }_j\varphi (x_j)=<\sum _{i=1}^N{\alpha }_i\varphi (x_i),\sum _{j=1}^N{\alpha }_j\varphi (x_j)> \\ ={\Vert \sum _{i=1}^N{\alpha }_i\varphi (x_i)\Vert }^2\ge 0 \\ \therefore K是半正定的。 \end{gathered}$$
3. 充分性证明($\Leftarrow$)
   正定性证明，我们用方法1.
   • 对K进⾏特征分解，对于对称矩阵$K=V\Lambda V^T$，那么令$\varphi (x_i)=\sqrt{{\lambda }_i}{V}_i$，其中$V_i$是特征向量；
   • 于是就构造了$K(x,z)=\sqrt{{\lambda }_i{\lambda }_j}{V}_i^T{V}_j$。所以特征值一定大于等于0！

7.4 总结

1. 引入核函数主要作用有如下两点：
   • 高维转换（解决非线性可分问题）
   • 内积运算（简化运算）
2. 原问题：
   $$\{\begin{array}{c}\underset{\lambda }{\min }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-{\sum }_{i=1}^N{\lambda }_i,i=1,2,\cdots ,N\\ {\lambda }_i\ge 0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(7.1.1)}$$
3. 核方法：
   $$\{\begin{array}{c}\underset{\lambda }{\min }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j)-{\sum }_{i=1}^N{\lambda }_i,i=1,2,\cdots ,N\\ {\lambda }_i\ge 0,i=1,2,\cdots ,N\end{array}\text{\hspace{1em}(7.1.2)}$$
4. 正定核函数定义
   公式（7.2.1）和（7.2.2）
5. 常见核函数