【Machine Learning, Coursera】机器学习Week7 核函数

Kernels

---

本节内容：
核函数(Kernel)是一类计算变量间相似度的函数，它可用于构造新的特征变量，帮助SVM解决复杂的非线性分类问题。

相关机器学习概念：
相似度函数(Similarity Function)
高斯核函数(Gaussian Kernel)

---

1. Kernels

对于下图中的非线性分类问题，常用的思路是构造多项式特征变量，如果${\theta }^{T}x={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1{x}_2+{\theta }_4{x}_1^2+{\theta }_5{x}_2^2+...\ge 0$，预测$y=1$，反之预测0.

然而，将所有高阶项纳入特征变量会导致运算成本过高等问题，有没有更好的选择特征变量的方法呢？

核函数就是一种可用于构造新的特征变量的方法。

把新的特征变量记作$f$，${\theta }^{T}f={\theta }_0+{\theta }_1{f}_1+...+{\theta }_n{f}_n$
$f_i$的计算方法如下：
$$f_i=similarity(x,l^{(i)})=exp(-\frac{\Vert x-l^{(i)}{\Vert }^2}{2{\sigma }^2})$$
其中，$l^{(i)}$是我们事先选择的一些标记点（选择方法在下一节会讲到），它的维度和样本点的维度相同，每个标记点定义一个新的特征变量。这里的similarity函数是高斯核函数(Gaussian Kernel)，它是核函数中的一种。核函数是众多相似度函数的总称。

高斯核函数所做的，其实是计算了样本点和标记点的远近程度，距离越近，$f_i$的值越接近1，反之，其值越接近0.
如果$x\approx l^{(i)}$，那么$f_i\approx exp(-\frac{0}{2{\sigma }^2})\approx 1$
如果$x$距离$l^{(i)}$很远，那么$f_i\approx exp(-\frac{(largenumber{)}^2}{2{\sigma }^2})\approx 0$

高斯核函数的表达式中有一个${\sigma }^2$，它是高斯核函数的参数，它控制了$f_i$下降的速度。

\qquad

2. Application

2.1 SVM with Kernels

要使用核函数，首先需要选择一系列标记点。

标记点该如何选择呢？

在实践中，一种选择标记点的方法是将标记点与样本点完全对应。有m个样本点，就能得到m个标记点。此外，按照惯例，我们可能还会加入一个额外的标记点$f_0$，其值始终为1.

这样我们就得到了带核函数的SVM模型：

Hypothesis: Given x, compute features $f\in {\mathbb{R}}^{m+1}$
\qquad Predict “y=1” if ${\theta }^{T}f={\theta }_0+{\theta }_1{f}_1+...+{\theta }_m{f}_m\ge 0$

Objective function:
$$J(\theta )=C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{f}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{f}^{(i)})]+\frac{1}{2}\sum _{j=1}^m{\theta }_j^2$$
\qquad
从原理上看，核函数不仅可以应用于SVM，也可应用于其他算法，如逻辑回归等。但在实践中我们并不这样做，原因是用于SVM的计算技巧不能很好地推广到其他算法上，核函数和其他算法结合时运算速度会非常慢。
\qquad

2.2 SVM parameters