机器学习中的数学 ch12：支持向量机分类（Classification with Support Vector Machines）

在机器学习中，有一种分类问题，这种分类问题只有两个预测结果，是或否，即：
f : R D → { 0 , 1 } f:\mathbb R^D\rightarrow \{0,1\} f:RD→{0,1}
为了计算方便，我们使用0，1来表示两种分类的结果，这种分类问题被称为 二元分类（Binary Classification）。本章节就是主要介绍用 支持向量机（Support Vector Machine，SVM）来解决这种分类问题。
支持向量机给我们提供了一个用几何的方式的视角看待监督式机器学习。在原先的章节中，我们使用概率模型来理解机器学习问题：用极大似然估计和贝叶斯推断对模型进行优化。支持向量机利用的是另一个角度，这种角度需要大量的代数知识，如内积、投影等。另外，由于用支持向量机解的优化问题没有一个解析解，所以我们需要利用之前学到的各种的优化方法，这可以作为之前学到的知识的一种实践。
在支持向量机的视角下的机器学习问题与概率视角下的机器学习问题略有不同，前者的模型是由数据分布的概率视角得出的。后者是设计一个函数，然后再训练的过程中不断优化，这是基于几何理解的。
接下来我们将从两个视角看待SVM：几何视角和损失函数视角。同时，为了提高模型的泛化能力，线性分类子应该允许一些错误的分类。之后我们还利用拉格朗日乘子得到对偶版本的SVM，这让我们可以利用另一个角度看待SVM。我们还介绍SVM的核方法，以及解非线性核SVM的优化问题。

分离超平面（Separating Hyperplanes）

对于两点的相似程度，我们可以使用内积来表示$⟨x_i,x_j⟩$。而一个分类问题的本质就是将数据集在一个平面上表示，然后将数据所在的空间划分成两个子空间。为了方便起见，我们考虑一个简单的分类问题：
$$\begin{gathered} f:{\mathbb{R}}^D\to \mathbb{R},x\in {\mathbb{R}}^D \\ x\mapsto f(x):=⟨w,x⟩+b \end{gathered}$$
其中的参数为：$w\in {\mathbb{R}}^D,b\in \mathbb{R}$.我们原先提到，超平面实际上就是仿射子空间，所以我们假设一个超平面在一个二分类问题中将两类数据分离到两个子空间中：
{ x ∈ R D : f ( x ) = 0 } \{x\in\mathbb R^D:f(x)=0\} {x∈RD:f(x)=0}
在下图中，我们可以知道w是超平面的法向量，b是超平面的截距。

证明：
假设有两个点在超平面上$x_a,x_b$:
$$f(x_a)-f(x_b)=⟨w,x_a⟩+b-(⟨w,x_b⟩+b)=⟨w,x_a-x_b⟩$$
由于超平面的方程为$⟨w,x⟩+b=0$,而选取的两个点在超平面上，所以$f(x_a),f(x_b)=0$,所以：
$$⟨w,x_a-x_b⟩=0$$
所以，w与超平面相互垂直。
对于一个二分类问题，数据点在超平面的上方为一类，下方为另一类，所以：
$$y_n=\{\begin{array}{r}1,⟨w,x_n⟩+b\ge 0\\ -1⟨w,x_n⟩+b<0\end{array}$$
上式也可以直接整理到一个式子中：$y_n(⟨w,x_n⟩+b)\ge 0$.这就是分类问题的分类器。

原始支持向量机（Primal Support Vector Machine）

对于一个线性可分的数据集，有时候能够将两类数据分开的超平面不止一个，我们需要找到其中的较好的一个超平面，其中的一个想法就是最大化两类数据到超平面的距离，这样能够提高模型的泛化能力。（这样想，如果一个分类器离数据点很近，那么只要这个数据点有一点波动，就可能导致数据点的类别变化）

Figure 12.3 Possible separating hyperplanes. There are many linear classifiers (green lines) that separate orange crosses from blue discs.

间隔的概念（Concept of the Margin）

我们假设有一个样本点$x_a$是这一类数据中离超平面最近的点, 这个样本点在超平面上的正交投影为$x_a^{\prime }$,如下图所示。我们可以发现$x_a$与$x_a^{\prime }$之间的距离向量与$w$相互平行，所以这个距离向量可以用$r\frac{w}{\Vert w\Vert }$表示，其中的r为比例参数，然后根据向量加法：
$$x_a=x_a^{\prime }+r\frac{w}{\Vert w\Vert }$$
对于r，我们还可以认为是$x_a$在$w$上的投影的坐标。

Figure 12.4 Vector addition to express distance to hyperplane

我们需要尽量最大化这个距离向量，所以我们假设这个距离向量的模不应该小于r(即这个数据点到其投影点的距离不应该小于$|r|$)，所以有：

$$y_n(⟨w,x_n⟩+b)\ge r$$

由于我们并不关心$w$的大小，只需要求他的方向，所以可以假设$\Vert w\Vert =1$。将上面的条件组合成一个约束优化问题：

$$\begin{gathered} \underset{w,b,r}{\max }\underset{margin}{\underbrace{r}} \\ s.t.\underset{datafitting}{\underbrace{y_n(⟨w,x_n⟩+b\ge r)}},\underset{normalization}{\underbrace{\Vert w\Vert =1}},r>0 \end{gathered}$$

这也就是说我们想最大化间隔r，同时保证数据在超平面的正确的方向。

Figure 12.5 Derivation of the margin: r

when the margin is large, the “complexity” of the function class is low, and hence learning is possible

间隔的传统推导（Traditional Derivation of the Margin）

我们之前在推导边缘的时候，因为我们不关心$w$的大小，只关心它的方向，所以我们就假设$\Vert w\Vert =1$.在本节中，我们将使用不同的假设推导边缘最大化问题。假设数据集中的一类离超平面最近的点为$x_a$,距离为1,即$⟨w,x_a⟩+b=1$， 所以我们可以重新调整超平面，使得这个点在移动后的超平面上，如图12.5. 有因为这个数据点的投影$x_a^{\prime }$在超平面上，所以：
$$⟨w,x_a^{\prime }⟩+b=0$$
之后将$x_a=x_a^{\prime }+r\frac{w}{\Vert w\Vert }$带入到上式：
$$⟨w,x_a-r\frac{w}{\Vert w\Vert }⟩+b=0$$
再根据内积的双线性的性质：
$$⟨w,x_a⟩+b-r\frac{⟨w,w⟩}{\Vert w\Vert }=0$$
由于我们之前假设$⟨w,x_a⟩+b=1$,有因为$⟨w,w⟩=\Vert w{\Vert }^2$,全部带入上式：
$$r=\frac{1}{\Vert w\Vert }$$
由于在计算的时候w也是未知的，所以我们并不能通过上式将r推导出来，但是我们可以将这个变量作为中间变量，所以接下来的章节我们将会使用$\frac{1}{\Vert w\Vert }$代替$r$.当然这个r 也可以看成数量点向超平面的投影误差。 这样我们可以发现，这个假设$r=1$与之前的假设$\Vert w\Vert =1$是一致的。
于是，我们原先的约束问题可以转换成：
$$\begin{gathered} \underset{w,b}{\max }\frac{1}{\Vert w\Vert } \\ s.t.y_n(⟨w,x_n⟩+b\ge 1)foralln=1,\cdots ,N \end{gathered}$$
为了计算方便，我们将上式中的求最大值转换成求最小值：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2 \\ s.t.y_n(⟨w,x_n⟩+b\ge 1)foralln=1,\cdots ,N \end{gathered}$$
上式就是硬边界支持向量机（hard margin SVM）。之所以称为“硬”，是因为这个边界不允许任何数据点违反边界条件。

为什么将间隔设为1（Why We Can Set the Margin to 1）

我们需要证明：
$$\begin{array}{rl}& \underset{\mathbf{w},b,r}{\max }\underset{\text{margin }}{\underbrace{r}}\\ & \text{ subject to }\underset{\text{data fitting }}{\underbrace{y_n\left(⟨\mathbf{w},{\mathbf{x}}_n⟩+b\right)⩾r}},\underset{\text{normalization }}{\underbrace{\Vert \mathbf{w}\Vert =1}},r>0\end{array}$$
与
$$\begin{gathered} \underset{\mathbf{w},b}{\min }\underset{\text{margin }}{\underbrace{\frac{1}{2}\Vert \mathbf{w}{\Vert }^2}} \\ \text{ subject to }\underset{\text{data fitting }}{\underbrace{y_n\left(⟨\mathbf{w},{\mathbf{x}}_n⟩+b\right)⩾1}}. \end{gathered}$$
是等价的。后者是利用了假设$r=1$.以下证明不严格，主要用于描述证明思路。
假设一个超平面的方程为：$wx+b=r$，将右边归一化之后得：$\frac{w}{r}x+\frac{b}{r}=1$,于是可以令:$w^{\prime }=\frac{w}{r},b^{\prime }=\frac{b}{r}$于是:$\Vert w^{\prime }\Vert =\frac{1}{r}\Vert w\Vert$,由于原命题中有一个假设：$\Vert w\Vert =1$,所以可以得到：$\Vert w^{\prime }\Vert =\frac{1}{r}$.带入原命题中，可以得到与要证明的命题一致的形式：
$$\begin{gathered} \underset{{\mathbf{w}}^{\prime },b}{\min }\underset{\text{margin }}{\underbrace{\frac{1}{2}\Vert {\mathbf{w}}^{\prime }{\Vert }^2}} \\ \text{ subject to }\underset{\text{data fitting }}{\underbrace{y_n\left(⟨{\mathbf{w}}^{\prime },{\mathbf{x}}_n⟩+b\right)⩾1}}. \end{gathered}$$
或者是说，两个参数同时变化相当于对超平面的平移，但是无论怎么平移，方程都是指向同一个超平面的。（几何间隔与函数间隔）

软间隔支持向量机：几何视角（Soft Margin SVM: Geometric View）

由于测量误差等的因素，很难保证数据点都准确。所以我们希望能够允许部分的数据点被错误分类，这种允许一些错误分类的支持向量机称为软间隔支持向量机。
在几何视角下，我们需要介绍一个关键变量：松弛变量（slack variable）

Figure 12.7 松弛变量描述的是被错误分类的点到对应的间隔超平面的距离，x+是被错误分类的数据点

我们为每一组数据$(x_i,y_i)$引入一个松弛变量$ \xi_i$这样允许一组数据在间隔以内，甚至是在超平面的错误的一边。我们将松弛变量加入到硬间隔支持向量机中：

$$\begin{gathered} \underset{w,b,\xi }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{n=1}^N{\xi }_n \\ s.t.y_n(⟨w,x_n⟩+b)\ge 1-{\xi }_n,{\xi }_n\ge 0 \end{gathered}$$
其中，$C$被称为正则化系数， $\Vert w{\Vert }^2$被称为正则项。这个定义与之前的好像略有不同，可以认为是在原先的正则化式子中同时除以了一个正则化系数$\lambda$.上面这个式子就是软间隔支持向量机（Soft Margin SVM）.

注意到式中的b没有正则化，因为未正则化的b使理论分析复杂化并且降低了计算效率。
The unregularized term b complicates theoretical analysis (Steinwart and Christmann, 2008, chapter 1) and decreases computational efficiency (Fan et al., 2008).（？）
公式理解：$1-\xi$是错误分类的数据点距超平面的距离。

软间隔SVM：损失函数视角（Soft Margin SVM: Loss Function View）

在SVM中，我们假设类就是超平面：
$$f(x)=⟨w,x⟩+b$$
现在我们要找到对应的损失函数，在之前的章节中的线性规划问题中使用的平方损失函数在分类问题中并不适合，所以我们需要找到其他的损失函数。
有一个候选函数就是0-1损失函数（zero-one loss）。当样本被错误分类的时候，函数值为1，否则为0，这个函数标识为$1(f(x)\ne y_n)$。但是使用这个损失函数就需要解决一个组合优化问题，难度很大。
还有一种损失函数为合页损失函数（hinge loss）：
ℓ = max ⁡ { 0 , 1 − t } , w h e r e t = y f ( x ) = y ( ⟨ w , x ⟩ + b ) \ell = \max\{0,1-t\},\quad where \quad t=yf(x)=y(\langle w,x\rangle+b) ℓ=max{0,1−t},wheret=yf(x)=y(⟨w,x⟩+b)
也就是当预测结果在正确的方向且$t\ge 1$时， 函数值为0.其他情况为非零，也可以将上式写成：
$$\ell =\{\begin{array}{rlr}& 0& ify\ge 1\\ & 1-t& ift<1\end{array}$$
对于硬间隔SVM：
$$\ell =\{\begin{array}{rlr}& 0& ift\ge 1\\ & \infty & ift<1\end{array}$$
损失函数在图中的表示为：

Figure 12.8 合页损失函数是0-1损失函数的凸上界

将合页损失函数带到原先的优化问题中：
min ⁡ w , b 1 2 ∥ w ∥ 2 ⏟ r e g u l a r i z e r + C ∑ n = 1 N max ⁡ { 0 , 1 − y n ( ⟨ w , x n ⟩ + b ) } ⏟ e r r o r   t e r m \min_{w,b}\underbrace {\frac 12\|w\|^2}_{regularizer}+\underbrace{C\sum^N_{n=1}\max\{0,1-y_n(\langle w,x_n\rangle + b)\}}_{error\ term} w,bmin​regularizer 21​∥w∥2​​+error term Cn=1∑N​max{0,1−yn​(⟨w,xn​⟩+b)}​​
由上可以知道，最大间隔实际上就是正则化。上述的无约束优化问题的解可以直接用梯度下降法求解，与之前的约束优化问题的结果是一致的。这是因为：
min ⁡ t max ⁡ { 0 , 1 − t } \min_{t}\max\{0,1-t\} tmin​max{0,1−t}
等价于：
$$\begin{gathered} \underset{\xi ,t}{\min }\xi \\ s.t.\xi \ge 0,\xi \ge 1-t \end{gathered}$$
将上式带入无约束优化问题中，经过整理可以得到与软间隔SVM一致的形式。

对偶支持向量机（Dual Support Vector Machine）

原先我们提到的支持向量机的参数数量是由特征的数量决定的。在这部分，我们介绍对偶支持向量机，他的参数数量是由训练集数据的数量决定，这样能够有效处理特征多，数据少的数据集。另外， 对偶支持向量机能够很好地引入核函数。在这里地对偶主要指凸对偶（convex duality）

利用拉格朗日乘子解决凸对偶（Convex Duality via Lagrange Multipliers）

将之前的约束优化问题利用拉格朗日乘子转化成非约束优化问题，其中$\alpha ,\gamma$是拉格朗日乘子
$$\begin{array}{rl}\mathfrak{L}(\mathbf{w},b,\xi ,\alpha ,\gamma )=& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{n=1}^N{\xi }_n\\ & \underset{\text{constraint (12.26b) }}{\underbrace{-\sum _{n=1}^N{\alpha }_n\left(y_n\left(⟨\mathbf{w},{\mathbf{x}}_n⟩+b\right)-1+{\xi }_n\right)}}\underset{\text{constraint }(12.26\mathrm{c})}{\underbrace{-\sum _{n=1}^N{\gamma }_n{\xi }_n}}\end{array}$$
将拉格朗日函数对各个参数进行求导：
$$\begin{array}{rl}\frac{\partial \mathfrak{L}}{\partial \mathbf{w}}& ={\mathbf{w}}^{\top }-\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{x}}_n^{\top },\\ \frac{\partial \mathfrak{L}}{\partial b}& =-\sum _{n=1}^N{\alpha }_n{y}_n\\ \frac{\partial \mathfrak{L}}{\partial {\xi }_n}& =C-{\alpha }_n-{\gamma }_n\end{array}$$
将第一个式子设为0,得到：
$$w=\sum _{n=1}^N{\alpha }_n{y}_n{x}_n$$
于是可以知道原始SVM的权重向量就是数据集的线性组合。这印证了我们原先提到的表示定理（representer theorem）：最小经验风险的解就在由数据定义的子空间中。

表示会定理也给支持向量机这个名字提供了另一种解释。当$x_n$对应的${\alpha }_n$为0的时候，说明这个数据点对解没有贡献，而当它大于0的时候，就被称为支持向量，它支撑起了超平面。

将$w$的式子带入到上面的拉格朗日函数中：
$$\begin{array}{rl}\mathfrak{D}(\xi ,\alpha ,\gamma )=& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{y}_i{y}_j{\alpha }_i{\alpha }_j⟨{\mathbf{x}}_i,{\mathbf{x}}_j⟩-\sum _{i=1}^N{y}_i{\alpha }_i⟨\sum _{j=1}^N{y}_j{\alpha }_j{\mathbf{x}}_j,{\mathbf{x}}_i⟩\\ & +C\sum _{i=1}^N{\xi }_i-b\sum _{i=1}^N{y}_i{\alpha }_i+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{\alpha }_i{\xi }_i-\sum _{i=1}^N{\gamma }_i{\xi }_i\end{array}$$
再令$\frac{\partial \mathfrak{L}}{\partial b}=-{\sum }_{n=1}^N{\alpha }_n{y}_n=0$带入，由于内积是对称函数而且具有双线性，所以上式中的前两项是可以合并的。于是得到：
$$\mathfrak{D}(\xi ,\alpha ,\gamma )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{y}_i{y}_j{\alpha }_i{\alpha }_j⟨x_i,x_j⟩+\sum _{i=1}^N{\alpha }_i+\sum _{i=1}^N\left(C-{\alpha }_i-{\gamma }_i\right){\xi }_i$$
又再令$\frac{\partial \mathfrak{L}}{\partial {\xi }_n}=C-{\alpha }_n-{\gamma }_n=0$,又由于拉格朗日乘子${\gamma }_i\ge 0$,所以${\alpha }_i\le C$,于是原先的双系数拉格朗日就转换成单系数拉格朗日：
$$\begin{array}{ll}{\min }_{\mathbf{\alpha }}& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{y}_i{y}_j{\alpha }_i{\alpha }_j⟨{\mathbf{x}}_i,{\mathbf{x}}_j⟩-\sum _{i=1}^N{\alpha }_i\\ \text{ subject to }& \sum _{i=1}^N{y}_i{\alpha }_i=0\\ 0⩽{\alpha }_i⩽C& \text{ for all }i=1,\dots ,N\end{array}$$
这就是对偶支持向量机（Dual SVM）,它对应的约束被称为“框型约束”（box constraints）拉格朗日乘子被限制在一个方形的区域内（$[0,C]$）.这种与坐标轴平行的约束，在数值计算的过程中非常高效。
当我们得到$\alpha$之后，可以利用表示定理将最优的$w$求出来。假设这个参数为$w^{\ast }$

在 L2 正则化问题上：
表示定理是指任意一个 L2 正则化的问题，其最佳 w* 都可以用 βn 与 Zn 线性组合得到。

假设数据点$x_n$在边界上， 所以有$⟨w^{\ast },x_n⟩+b=y_n$，所以参数b的解为：
$$b^{\ast }=y_n-⟨w^{\ast },x_n⟩$$
当假设不成立的时候，需要计算所有支持向量的上式右边式子的绝对值，然后找到中位数，这里省略。

对偶支持向量机：凸包视角（Dual SVM: Convex Hull View）

另一种理解支持向量机的方式需要借助一种几何参数。我们将拥有同样标签的数据点限制在我们构造的凸包中，如下图所示。

现在我们对凸包进行一个直观的解释。假设空间中有两个不相等的数据点$x_1,x_2$，现在有两个参数${\alpha }_1,{\alpha }_2$,且${\alpha }_1+{\alpha }_2=1$，所以${\alpha }_1{x}_{!}+{\alpha }_2{x}_2$表示的就是$x_1,x_2$之间的数，现在加上另一个数据点及参数$x_3,{\alpha }_3$,这时候$\sum _{i=1}^3{\alpha }_i=1$,这时候，三个点的线性组合的数据点在一个二维的区域内。这个区域就称为凸包（convex hull）。
通常，构建一个凸包，可以利用一个非负的权重${\alpha }_n\ge 0$,对应数据$x_n$,于是，凸包可以表示为：
$$\mathrm{conv}(X)=\left\{\sum _{n=1}^N{\alpha }_n{x}_n\right\},with\sum _{n=1}^N{\alpha }_n=1,{\alpha }_n\ge 0$$
假设数据是可以分离的，那么这些数据对应的凸包就不会重合，我们找到两类数据中距离另一类最近的数据点$c,d$,如上图所示，定义两个凸包之间的距离为：
$$w:=c-d$$
想要这两个数据点尽可能接近，等价于以下的优化问题：
$$\arg \underset{w}{\min }\Vert w\Vert =\arg \underset{w}{\min }\frac{1}{2}\Vert w{\Vert }^2$$
由于c点在正凸包中，所以c点可以表示为：
$$c=\sum _{n:y_n=+1}{\alpha }_n^{+}{x}_n$$
同样的，d点可以表示为：
$$d=\sum _{n:y_n=-1}{a}_n^{-}{x}_n$$
其中，$n:y_n=-1$标签为-1的坐标索引。将两式带入到优化方程中：
$$\underset{\alpha }{\min }\frac{1}{2}\Vert \sum _{n:y_n=+1}{\alpha }_n^{+}{x}_n-\sum _{n:y_n=+1}{\alpha }_n^{+}{x}_n\Vert$$
对于参数$\alpha$:
$$\sum _{n:y_n=+1}{\alpha }_n^{+}{x}_n=1,\sum _{n:y_n=-1}{a}_n^{-}{x}_n=1$$
由于：
$$\begin{array}{rl}\sum _{n=1}^N{y}_n{\alpha }_n& =\sum _{n:y_n=+1}(+1){\alpha }_n^{+}+\sum _{n:y_n=-1}(-1){\alpha }_n^{-}\\ & =\sum _{n:y_n=+1}{\alpha }_n^{+}-\sum _{n:y_n=-1}{\alpha }_n^{-}=1-1=0\end{array}$$
所以,优化问题的约束条件为：
$$\sum _{n=1}^N{y}_n{\alpha }_n=0$$
这里得到的约束优化问题与之前的对偶硬间隔支持向量机中的约束优化问题一致。

想要得到软间隔的支持向量机的约束优化问题，我们需要利用缩小包（reduce hull），这对参数的规模进行了限制

核方法（Kernels）

在对偶SVM中，内积只是在样本之间，而在样本与参数之间没有内积的关系，所以可以使用一个特征$\varphi (x)$将式中的内积代替。这样问题就具有了模块性，使得我们能够将特征表示方法和分类方法分开考虑。
由于有些数据并非是线性可分的，所以需要$\varphi (x)$是非线性函数，但是我们不是去定义一个这样的非线性的函数，然后计算它的内积，而是定义一个相似函数$k(x_i,x_j)$,在这里这个相似函数称为核函数（Kernel Function）,核函数的定义为：
对于一个非线性特征映射$\varphi (\cdot )$
$$k:\mathcal{X}\times \mathcal{X}\to \mathbb{R}$$
存在一个希尔伯特空间（Hilbert space）$\mathcal{H}$有：$$\varphi :\mathcal{X}\to \mathcal{H}$$.特征映射的定义为：
$$k(x_i,x_j)=⟨\varphi (x_i),\varphi (x_j){⟩}_{\mathcal{H}}$$
每一个核函数都对应着唯一一个再生核希尔伯特空间（reproducing kernel Hilbert space）。在这种关系中，$\varphi (x)=k(\cdot ,x)$被称为规范特征图（Canonical Feature Map）.这种将一个内积转换成核函数的方法称为核方法（Kernel Trick）。这种方法避免了显式的非线性特征映射。
由数据内积或者是将数据带入到核函数$k(\cdot ,\cdot )$得到的矩阵$K\in {\mathbb{R}}^{N\times N}$被称为克莱姆矩阵（Cram Matrix）,有时候也直接被称为核矩阵（Kernel Matrix）,核函数需要时对称且半正定的，这样核矩阵才能是对称和半正定的，对此核矩阵的定义为：
$$\forall z\in {\mathbb{R}}^N:z^{\top }Kz\ge 0$$
一些比较常用的核函数为：多项式核函数，高斯径向基核函数，有理二次核函数。下图是利用不同的核函数进行分类的结果：

注意函数的假设类仍旧是线性的，图中的非线性边界来源于核函数.

这个“核”有很多定义，在这里的核是来源于再生核希尔伯特空间。我们之前提到过的核空间代表的是零空间。还有一种就是在密度估计中的光滑核函数。

由于特征$\varphi (x)$在数学上与核函数$k(x_i,x_j)$等价，所以我们常常选用一些比内积更好计算的核函数。例如，假设我们使用多项式核函数，当数据较多时，这时候即使是多项式的次数比较低，也会导致大量的特征($x_1,x_2,x_3\to x_1\ast x_2,x_1\ast x_3\cdots$),但是使用核函数只需要对每一个输入进行一次乘法就可以了。
核方法的另一个优势是不需要将输入的数据表示为多元实数。而对于核函数的选择以及核函数的参数需要通过嵌套交叉验证的方式选择。

数值解（Numerical Solution）

在这部分，我们对原先提到的内容进行回顾。
首先我们是从损失函数的角度对支持向量机进行了解释，我们使用的合页损失函数 max ⁡ { 0 , 1 − t } \max\{0,1-t\} max{0,1−t},但是这个损失函数是一个不可微的函数，于是我们采用次梯度（subgradient）的方法，得到损失函数的梯度：
$$g(t)=\{\begin{array}{rlr}& -1,& t<1\\ & [-1,0]& t=1\\ & 0& t>1\end{array}$$
这样我们就可以使用之前学过的一些优化算法进行优化了。
要想将原始支持向量机转换成二次规划的标准形式，我们假设内积为点乘，同时将原先所有的优化变量全部移到等式左边：
$$\begin{gathered} \underset{w,b,\xi }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{n=1}^N{\xi }_n \\ s.t.\{\begin{array}{rl}& -y_n{x}_n^{\top }w-y_{n}b-{\xi }_n\le -1\\ & -{\xi }_n\le 0\end{array} \end{gathered}$$
将上式矩阵化（将变量$w,x_n,b$放到向量中）：
$$\begin{array}{rl}& \underset{\mathbf{w},b,\mathbf{\xi }}{\min }\frac{1}{2}{\left[\begin{array}{l}\mathbf{w}\\ b\\ \mathbf{\xi }\end{array}\right]}^{\top }\left[\begin{array}{cc}{\mathbf{I}}_D& 0_{D,N+1}\\ 0_{N+1,D}& 0_{N+1,N+1}\end{array}\right]\left[\begin{array}{c}\mathbf{w}\\ b\\ \mathbf{\xi }\end{array}\right]+{\left[\begin{array}{ll}{0}_{D+1,1}& C{1}_{N,1}\end{array}\right]}^{\top }\left[\begin{array}{l}\mathbf{w}\\ b\\ \mathbf{\xi }\end{array}\right]\\ & \text{ subject to }\left[\begin{array}{ccc}-\mathbf{Y}\mathbf{X}& -\mathbf{y}& -{\mathbf{I}}_N\\ 0_{N,D+1}& -{\mathbf{I}}_N& \end{array}\right]\left[\begin{array}{c}\mathbf{w}\\ b\\ \mathbf{\xi }\end{array}\right]⩽\left[\begin{array}{c}-1_{N,1}\\ 0_{N,1}\end{array}\right]\end{array}$$
这其中$0,1,\mathbf{I},\mathbf{Y},\mathbf{X}$分别代表零矩阵，全一矩阵，单位矩阵，标签组成的对角矩阵，样本矩阵。
而对于对偶支持向量机，想要将其表示为标准形式，我们首先需要表示核函数矩阵$K$,其中的每一个元素为$K_{ij}=k(x_i,x_j)$,如果我们有明确的特征表示$x_i$则我们可以定义$K_{ij}⟨x_i,x_j⟩$,为了方便，我们将有标签组成的对角矩阵表示为$Y=diag(y)$,这时，对偶支持向量机可以写为：
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}{\alpha }^{\top }YKY\alpha 1_{N.1}^{\top }\alpha \\ s.t.\left[\begin{array}{c}{y}^{\top }\\ -y^{\top }\\ -I_N\\ I_n\end{array}\right]\alpha \le \left[\begin{array}{c}{0}_{N+2,1}\\ C{1}_{N,1}\end{array}\right] \end{gathered}$$
为了将式子表示为标准形式，所以将等式写成了两个不等式：
$$Ax=b\iff AX\le bandAX\ge b$$

正是由于支持向量机能够清晰描述为优化问题，这使得许多的基于数值优化的技术能够被应用。