吴恩达机器学习笔记（九）

支持向量机（Support Vector Machine, SVM）是另外一种非常强大的监督学习算法，其相比于逻辑回归和神经网络在学习非线性函数时具有更清晰和强大的能力。

1. SVM 的优化目标

逻辑回归中，如果我们得到的假设函数为 $h_{\theta }(x)$，对于一个样本 $(x,y)$，该样本的损失（预测值与真实标签之间的差距）可以通过下式衡量：
$$\begin{array}{rl}& -\left[y\log h_{\theta }(x)+(1-y)\log (1-h_{\theta }(x))\right]\\ =& -y\log \frac{1}{1+e^{-{\theta }^{T}x}}-(1-y)\log (1-\frac{1}{1+e^{-{\theta }^{T}x}})\end{array}$$

当 $y=1$ 时，上式的代价函数变为 $-\log \frac{1}{1+e^{-{\theta }^{T}x}}$，令 $z={\theta }^{T}x$，则代价函数可以写为 $-\log \frac{1}{1+e^z}$，以 $z$ 为坐标轴，我们可以得到如下的蓝色损失函数曲线。在逻辑回归中，根据 Sigmoid 函数的特点，当 $z={\theta }^{T}x\gg 0$ 时，预测结果 $h_{\theta }(x)=1$，根据下图的损失函数曲线也可以看出，当 $z\gg 0$ 时，损失逐渐趋近于 $0$，预测值 $h_{\theta }(x)$ 与真实标签 $y=1$ 无限接近。

为了更加准确的描述代价，我们对该代价函数进行改进，构造如下红色的分段曲线 $\mathbf{C}\mathbf{o}\mathbf{s}{\mathbf{t}}_1(\mathbf{z})$ 代替 $-\log \frac{1}{1+e^{-{\theta }^{T}x}}$ ，可以看出，对于 $Cos{t}_1(z)$，在 $z\ge 1$ 时，损失函数值已经是 $0$ 了，并且 $Cos{t}_1(z)$ 可以很好的对原损失函数曲线进行拟合。

同理，当 $y=0$ 时，总体的代价函数变为 $-\log (1-\frac{1}{1+e^{-z}})$，同样可以得到如下的蓝色损失函数曲线，在这种情况下，根据 Sigmoid 函数，当 $z\ll 0$时，预测结果 $h_{\theta }(x)=0$。从下面的蓝色损失函数曲线也可以看出，当 $z\ll 0$ 时，损失函数趋向于 $0$，也就是预测值 $h_{\theta }(x)$ 和真实标签 $y=0$ 无限接近。

同样，我们构建如下的损失函数曲线 $\mathbf{C}\mathbf{o}\mathbf{s}{\mathbf{t}}_0(\mathbf{z})$，当 $z\le -1$ 时，损失函数值为 $0$。

在逻辑回归中，对于训练集中的所有样本，我们可以将所有样本预测值与真实标签之间的代价累加，进而可以构建如下的代价函数，为了让假设函数能够最好的拟合数据点，我们优化的目标也是使下式的代价函数最小：
$$\underset{\theta }{\min }\frac{1}{m}\left[\sum _{i=1}^m{y}^{(i)}\left(-\log h_{\theta }(x^{(i)})\right)+(1-y^{(i)})\left[-\log (1-h_{\theta }(x^{(i)}))\right]\right]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$

再根据以上的讨论，在支持向量机中，将其中的损失函数进行替换，即将 $-\log \frac{1}{1+e^z}$ 换为 $\mathbf{C}\mathbf{o}\mathbf{s}{\mathbf{t}}_1(\mathbf{z})$，将 $-\log (1-\frac{1}{1+e^{-z}})$ 换为 $\mathbf{C}\mathbf{o}\mathbf{s}{\mathbf{t}}_0(\mathbf{z})$。同时删除平均系数 $\frac{1}{m}$（不影响参数的优化结果），得到如下的代价函数：
$$\underset{\theta }{\min }\sum _{i=1}^m\left[y^{(i)}Cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})Cos{t}_0({\theta }^T{x}^{(i)})\right]+\frac{\mathbf{\lambda }}{2}\sum _{i=1}^n{\theta }_j^2$$

为了符合 SVM 的惯例，我们不用 $\lambda$ 控制正则化参数项，相反，在误差项之前添加参数 $C$ 控制两者之间的平衡，最终得到如下的代价函数。在逻辑回归中，代价函数的形式为 $A+\lambda B$，$\lambda$ 越大，表示权重越偏向后面的正则项 $B$。在 SVM 中，形式变为 $CA+B$，$C$ 越小，则 $A$ 表示的误差项的权重越小，则后面的正则项的权重越大。所以参数 $C$ 和 $\frac{1}{\lambda }$ 的效果是相同的。

$$\underset{\theta }{\min }\mathbf{C}\sum _{i=1}^m\left[y^{(i)}Cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})Cos{t}_0({\theta }^T{x}^{(i)})\right]+\frac{1}{2}\sum _{i=1}^n{\theta }_j^2$$

支持向量机在通过对上面的代价函数进行优化，得到参数 $\theta$ 后，就可以得到假设函数 $h_{\theta }(x)$，但是其进行预测时，并不像逻辑回归一样得到某一类的概率，而是直接输出预测结果，所以 SVM 是 根据 ${\theta }^{T}x$ 的结果进行分类 的，如下所示：
$$h_{\theta }(x)=\{\begin{array}{ll}1,& if{\theta }^{T}x\ge 0\\ 0,& otherwise\end{array}$$

2. 大间距分类器

在逻辑回归中，假设函数表示为 $h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$，根据 Sigmoid 函数，这时为了得到正确的分类结果，当 $y=1$ 时，我们要使 ${\theta }^{T}x\ge 0$；当 $y=0$ 时，要使 ${\theta }^{T}x<0$。

但是对于 SVM 来说，根据如下代价函数的图像，我们可以发现，为了使得到的结果与真实标签对应，我们会得到如下情况：

• 当 $y=1$ 时，要使 ${\theta }^{T}x\ge 1$ 时，预测结果 $h_{\theta }(x)=y=1$
• 当 $y=0$ 时，要使 ${\theta }^{T}x\le -1$ 时，预测结果 $h_{\theta }(x)=y=0$

相比于逻辑回归， ${\theta }^{T}x\ge 1$ 和 ${\theta }^{T}x\le -1$ 形成了一个分类的安全间距。如下图所示，当代价函数中的 $C$ 设置的值非常大时，如 $C=10000$，在 SVM 的代价函数中，为了使整体尽可能小，那么会通过优化使得误差项趋于 $0$，最终得到代价函数为 $\underset{\theta }{\min }C\times 0+\sum _{j=1}^n{\theta }_j$，根据 ${\theta }^{T}x$ 可以对数据集构建如下的黑色直线表示的决策边界，该边界与两类数据集都有足够远的分类间距，分类间距越大，SVM就有更好的鲁棒性，SVM总会试图找到更大的分类间距，因此SVM又被称为 大间距分类器。

3. 数学原理

3.1 向量内积

对于两个向量 $\mathbf{u}=\left[\begin{array}{c}{u}_1\\ u_2\end{array}\right]$ 和 $\mathbf{v}=\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right]$ ，其内积可以表示为 ${\mathbf{u}}^T\mathbf{v}={\mathbf{v}}^T\mathbf{u}=\Vert \mathbf{u}\Vert \cdot \Vert \mathbf{v}\Vert \cos \theta =u_1{v}_1+u_2{v}_2$ ¹，我们在坐标系中可以表示如下，其中 $p=\Vert \mathbf{v}\Vert \cos \theta$ 表示向量 $\mathbf{v}$ 在向量 $\mathbf{u}$ 上的投影长度，因此，两个向量的内积就可以写成如下形式：
$$\begin{array}{rl}{\mathbf{u}}^T\mathbf{v}={\mathbf{v}}^T\mathbf{u}& =p\cdot \Vert \mathbf{u}\Vert \\ & =u_1{v}_1+u_2{v}_2\end{array}$$

当两个向量的夹角 $\theta$ 小于 $90^{°}$ 时，内积的结果为正。但是如下所示，当向量夹角大于 $90^{°}$ 时，内积结果 $p\cdot \Vert \mathbf{u}\Vert =u_1{v}_1+u_2{v}_2<0$ 。

3.2 SVM 中目标函数的优化

为了更好的对 SVM 的数学原理进行分析，我们假设 $C$ 为一个很大的值，并令 ${\theta }_0=0，n=2$。这时，代价函数变为：
$$\underset{\theta }{\min }\frac{1}{2}\sum _{j=1}^2{\theta }_j^2=\frac{1}{2}({\theta }_1^2+{\theta }_2^2)=\frac{1}{2}{\left(\sqrt{{\theta }_1^2+{\theta }_2^2}\right)}^2=\frac{1}{2}\Vert \mathbf{\theta }{\Vert }^2$$

从上式可以看出，我们对代价函数的最小化其实就是使参数向量 $\mathbf{\theta }=\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\end{array}\right]$ 自己的内积达到最小。这时我们再加入对分类时假设函数的考虑：

• 若 $y^{(i)}=1$ ，要使 ${\theta }^T{x}^{(i)}\ge 1$
• 若 $y^{(i)}=0$ ，要使 ${\theta }^T{x}^{(i)}\le -1$

可以看到，分类的结果是通过 ${\theta }^T{x}^{(i)}$ 内积的结果进行判断的，我们将两个向量在坐标中表示如下，则内积的计算可以看成下式，表示计算 $x^{(i)}$ 与 $\theta$ 的内积，也是 $x^{(i)}$ 在 $\theta$ 上的投影 $p^{(i)}$ 与 $\theta$ 的模长的乘积。
$$\begin{array}{rl}{\theta }^T{x}^{(i)}& =p^{(i)}\cdot \Vert \theta \Vert \\ & ={\theta }_1{x}_1^{(i)}+{\theta }_2{x}_2^{(i)}\end{array}$$

综上所述，我们可以将分类的判断 ${\theta }^{T}x$ 转换为 $p^{(i)}\cdot \Vert \theta \Vert$，即：

• 若 $y^{(i)}=1$，要使 $p^{(i)}\cdot \Vert \theta \Vert \ge 1$
• 若 $y^{(i)}=0$，要使 $p^{(i)}\cdot \Vert \theta \Vert \le -1$

对于 ${\theta }^{T}x={\theta }_1{x}_1+{\theta }_2{x}_2=1$，我们可以将其看作一条由两个特征组成的平面上的直线，如下所示，则参数向量 $\mathbf{\theta }$ 就可以看作垂直于直线的向量，数据在向量的投影就是 $p^{(1)}$ 和 $p^{(2)}$，如下紫色和黄色线段所示，这时对于数据点 $x^{(1)}$ ，如果想要正确的分类，就需要使 $p^{(1)}\cdot \Vert \theta \Vert \ge 1$，但是从图中可以看到 $p^{(1)}$ 是一个较短的距离，如果还想使 $p^{(1)}\cdot \Vert \theta \Vert \ge 1$，优化算法就会趋向于使 $\Vert \theta \Vert$ 取一个较大的值，这和代价函数 ${\min }_{\theta }\frac{1}{2}\Vert \theta {\Vert }^2$ 相矛盾。对于 $x^{(2)}$ 也是同理，我们想要 $p^{(2)}\cdot \Vert \theta \Vert \le -1$，由于 $p^{(2)}$ 也是一个很小的负数，就会使 $\Vert \theta \Vert$ 趋向于更小的值，和代价函数的优化产生矛盾。

这时如果我们选择另一条决策边界，如下图所示，这时得到的 $p^{(1)}$ 和 $p^{(2)}$ 都更大，这时 $\Vert \theta \Vert$ 就可以取得相对上面更小的值，代价函数也就会更小。这对应于 SVM 中让决策边界和两类数据的间距尽可能大，这些间距对应于每个样本 $x^{(i)}$ 在 $\theta$ 上的投影 $p^{(i)}$，其值越大，代价函数对应的 $\Vert \theta \Vert$ 就会越小，那么预测结果与真实标签的代价就越小。

4. 核函数

对于如下的分类问题，为了构建非线性的决策边界，我们可以根据已有的两个特征，构建如下的多项式假设函数进行分类：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1{x}_2+{\theta }_4{x}_1^2+{\theta }_5{x}_2^2+\cdots$$

其中的多项式是原有的特征 $x_1$ 和 $x_2$ 组合得到的，我们令 $f_1=x_1,f_2=x_2,f_3=x_1{x}_2,f_4=x_1^2,f_5=x_2^2,\cdots$ ，那么假设函数就可以更改为：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3+{\theta }_4{f}_4+{\theta }_5{f}_5+\cdots$$

对于不同的问题，选择不同的特征组合得到的效果是不同的，那么对于这么多可能出现的特征组合，怎么才能选择最好的特征 $f_1,f_2,f_3,\cdots$ 呢？

这里使用核函数的方法构建特征，首先假设数据集有两个特征 $x_1,x_2$，如下图所示，选择三个标记（landmark）$l^{(1)},l^{(2)},l^{(3)}$，对于给定的一个样本数据 $x$ ，我们可以构建如下的特征函数，其中 $similarity(x,l)$ 表示数据点 $x$ 和标记 $l$ 之间的相似度，我们称为 核函数（kernel function）。后面的 $e^{-\frac{\Vert x-l{\Vert }^2}{2{\sigma }^2}}$ 表示一种具体的核函数，称为高斯核函数（Gaussian kernels）。
$$\begin{array}{rl}{f}_1& =similarity(x,l^{(1)})=e^{-\frac{\Vert x-l^{(1)}{\Vert }^2}{2{\sigma }^2}}\\ f_2& =similarity(x,l^{(2)})=e^{-\frac{\Vert x-l^{(2)}{\Vert }^2}{2{\sigma }^2}}\\ f_3& =similarity(x,l^{(3)})=e^{-\frac{\Vert x-l^{(3)}{\Vert }^2}{2{\sigma }^2}}\end{array}$$

为什么要构建核函数作为特征呢？这里我们将核函数展开来看：
$$f_1=similarity(x,l^{(1)})=e^{-\frac{\Vert x-l^{(1)}{\Vert }^2}{2{\sigma }^2}}=e^{-\frac{\sum _{j=1}^n(x_j-l_j^{(1)}{)}^2}{2{\sigma }^2}}$$

• 当 $x\approx l^{(1)}$ 时，即 $x$ 与 $l^{(1)}$ 比较接近时，这时 $\Vert x-l^{(1)}{\Vert }^2\approx 0$，即：
  $$f_1\approx e^{-\frac{0^2}{2{\sigma }^2}}\approx 1$$
• 当 $x\not\approx l^{(1)}$ 时，即 $x$ 与 $l^{(1)}$ 距离很大时，这时 $\Vert x-l^{(1)}{\Vert }^2\approx largenumber$，即：
  $$f_1\approx e^{-\frac{(largenumber{)}^2}{2{\sigma }^2}}\approx 0$$

下图展示了当 $l=\left[\begin{array}{c}3\\ 5\end{array}\right]$ 时，$f\in [0,1]$ 随 $x$ 的变化，当 $x$ 越接近 $l$ 时，$f$ 的值越大。选择不同大小的 $\sigma$ 时，对 $f$ 的变化也有影响，当 $\sigma$ 越大时，变化越平缓。

得到特征 $f_1,f_2,f_3$ 后，我们就可以得到假设函数如下：
$$h_{\theta }(x)=g({\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3)$$

• 当 ${\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3\ge 0$ 时，预测结果 $h_{\theta }(x)=1$
• 当 ${\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3<0$ 时，预测结果 $h_{\theta }(x)=0$

假设我们已经获得参数 $\theta$ 的值为 ${\theta }_0=-0.5,{\theta }_1=1,{\theta }_2=1,{\theta }_3=0$，则有：

• 对于如下点 $x^{(1)}$ ，其只距离 $l^{(1)}$ 比较近，所以只有 $f_1=1$，那么 ${\theta }_0+{\theta }_1\times 1+{\theta }_2\times 0+{\theta }_3\times 0=0.5\ge 0$，预测结果 $h_{\theta }(x)=1$
• 对于点 $x^{(2)}$ ，其只距离 $l^{(2)}$ 比较近，所以只有 $f_2=1$，那么 ${\theta }_0+{\theta }_1\times 0+{\theta }_2\times 1+{\theta }_3\times 0=0.5\ge 0$，预测结果 $h_{\theta }(x)=1$
• 对于点 $x^{(3)}$ ，距离所有标记点都较远，所以所有 $f=0$，那么 ${\theta }_0+{\theta }_1\times 0+{\theta }_2\times 0+{\theta }_3\times 0=-0.5<0$，预测结果 $h_{\theta }(x)=0$

根据以上 $\theta$ 的值，当数据点离标记 $l^{(1)}$ 和 $l^{(2)}$ 比较近时，预测结果 $h_{\theta }(x)=1$ ，否则预测结果 $h_{\theta }(x)=0$，所以可以得到如上所示红色的分类边界。

上述的情况中，所有的标记点 $l$ 都是我们选择的，对于真实数据集中， 标记 $l$ 该怎么选择呢？对于给定的训练集数据集 { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , ⋯   , ( x ( m ) , y ( m ) ) } \{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots,(x^{(m)},y^{(m)})\} {(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}，可以直接将每个 $l$ 直接设置为 $x$，即 $l^{(1)}=x^{(1)},l^{(2)}=x^{(2)},\cdots ,l^{(m)}=x^{(m)}$，如下图所示：

对于任意一个样本 $x$，我们可以通过如下的方式计算 $f$ 特征向量中的每个值：
$$\begin{array}{ccc}\begin{array}{rl}{f}_1& =similarity(x,l^{(1)})\\ f_2& =similarity(x,l^{(2)})\\ ⋮& \\ f_m& =similarity(x,l^{(m)})\end{array}& \to & f=\left[\begin{array}{c}{f}_0\\ f_1\\ f_2\\ ⋮\\ f_m\end{array}\right],f_0=1\end{array}$$

当给定训练集时，我们就可以计算出每个样本 $x^{(i)}$ 对应的特征向量 $f^{(i)}$：
$$\begin{array}{ccccc}{x}^{(i)}& \to & \begin{array}{rl}{f}_1^{(i)}& =similarity(x^{(i)},l^{(1)})\\ f_2^{(i)}& =similarity(x^{(i)},l^{(2)})\\ ⋮& \\ f_m^{(i)}& =similarity(x^{(i)},l^{(m)})\end{array}& \to & f^{(i)}=\left[\begin{array}{c}{f}_0^{(i)}\\ f_1^{(i)}\\ f_2^{(i)}\\ ⋮\\ f_m^{(i)}\end{array}\right],f_0^{(i)}=1\end{array}$$

有了这些数据后，就可以通过对如下的 SVM 代价函数进行优化，得到其中的参数 $\theta$ 参数向量，$\theta$ 向量中元素的个数等于 $f$ 特征向量的个数，所以 $j=1,2,\cdots ,m$。
$$\underset{\theta }{\min }C\sum _{i=1}^m\left[y^{(i)}Cos{t}_1({\theta }^T{f}^{(i)})+(1-y^{(i)})Cos{t}_0({\theta }^T{f}^{(i)})\right]+\frac{1}{2}\sum _{j=1}^m{\theta }_j^2$$

通过对上式的优化，可以得到 $\theta$ 的值，之后我们就可以根据 ${\theta }^{T}f$ 进行预测了：

• 若 ${\theta }^{T}f={\theta }_0{f}_0+{\theta }_1{f}_1+\cdots +{\theta }_m{f}_m\ge 0$，预测结果 $h_{\theta }(x)=1$
• 若 ${\theta }^{T}f={\theta }_0{f}_0+{\theta }_1{f}_1+\cdots +{\theta }_m{f}_m<0$，预测结果 $h_{\theta }(x)=0$

可以注意到，在代价函数中还包含两个参数：

1. $C$ 参数，前面我们介绍过，$C$ 作为参数可以实现和 $\frac{1}{\lambda }$ 相同的效果，所以
   • 若 $C$ 过大（$\lambda$ 是一个较小的值），会导致模型出现高方差（过拟合），低偏差
   • 若 $C$ 过小（$\lambda$ 是一个较大的值），会导致模型出现高偏差（欠拟合），低方差
2. ${\sigma }^2$ 参数是高斯核函数中的参数：
   • 若 ${\sigma }^2$ 过大，$f$ 的变化会相对更加平缓，会导致高偏差，低方差
   • 若 ${\sigma }^2$ 过小，$f$ 的变化会相对更加快速，会导致高方差，低偏差

5. SVM 的使用注意

1. 对于有多个不同取值范围组成的特征，我们在利用它们进行核函数计算时，要首先对他们进行特征缩放，以保证它们处于相近的范围内。

2. SVM 中的核函数要满足默塞尔定理（Mercer’s Theorem），该定理使得核函数可以正确的应用在 SVM 的优化中。除了高斯核函数，还有如下的一些核函数：

   • 多项式核函数（Polymomial kernel），如 $k(x,l)=(x^{T}l{)}^2,k(x,l)=(x^{T}l{)}^2,k(x,l)=(x^{T}l+1{)}^3,\cdots$
   • 字符串核函数（String kernel）、卡方核函数（chi-square kernel）等。

3. SVM 多分类
   使用 SVM 进行多分类和使用逻辑回归进行多分类使用相同的方法，即一对多的创建多个分类假设函数，每个假设函数有一个参数向量 ${\theta }^{(i)}$ ，对应于将第 $i$ 类数据分离出来，最终选择值最大的 $({\theta }^{(i)}{)}^{T}x$ 作为最终的分类。

4. 逻辑回归与 SVM 的选择
   对于不同大小的数据集和特征个数，应该选择不同的模型，记 $n$ 为 $x\in {\mathcal{R}}^{n+1}$ 中特征个数，$m$ 为训练集中样本的个数，那么

   • 若特征个数 $n$ 比样本个数 $m$ 多很多，应该选择逻辑回归或没有核函数（linear kernel）的 SVM 方法，这是因为当数据量很少时，没有足够的数据用于特征的学习。
   • 若 $n$ 很少， $m$ 的大小适中，选择使用高斯核函数的 SVM
   • 若 $n$ 很少， $m$ 的值很大，应该手动创建更多的特征，使用逻辑回归或没有核函数的SVM方法，这是因为当数据很多时，SVM中核函数的计算会耗费大量的时间。

   SVM 的优化问题是一个凸优化问题，在优化时不会陷入局部最优点，神经网络对任何情况下都可以有很好的效果，但是其运行速度会比较慢，因此如果存在很好的 SVM 算法，可以使用 SVM 大大减少运算速度。

---

1. 参考1，参考2 ↩︎