机器学习笔记09：支持向量机（二）-核函数(Kernels)

核函数是 SVM 的最重要的部分，我们可以通过设置不同的核函数来创造出非常复杂的、非线性的支持向量机。

1.核(Kernel)

首先来看看什么是核函数。如图所示，假设有一个样本 $x$ 有两个特征 $x_1,x_2$，我们可以根据与地标(landmarks) $l^{(1)},l^{(2)},l^{(3)}$ 的接近程度(proximity)，或者说相似性(similarity)，来产生新的更多的特征 ，假如我们有如下三个地标，注意地标的维数和特征的维数是相同的（后面会解释什么是地标，以及地标是怎么产生的）：

在这里，我们定义新特征 $f_1,f_2,f_3$为：
$$f_1=similarity(x,l^{(1)})=e^{-\frac{\Arrowvert x-l^{(1)}\Arrowvert^2}{2\sigma^2}}\\ f_2=similarity(x,l^{(2)})=e^{-\frac{\Arrowvert x-l^{(2)}\Arrowvert^2}{2\sigma^2}}\\ f_3=similarity(x,l^{(3)})=e^{-\frac{\Arrowvert x-l^{(3)}\Arrowvert^2}{2\sigma^2}}$$
为了看得清楚点，我们用 $exp(x)$ 来表示 $e$ 的 $x$ 次方：
$$f_1=exp(-\frac{\Arrowvert x-l^{(1)}\Arrowvert^2}{2\sigma^2})\\ f_2=exp(-\frac{\Arrowvert x-l^{(2)}\Arrowvert^2}{2\sigma^2})\\ f_3=exp(-\frac{\Arrowvert x-l^{(3)}\Arrowvert^2}{2\sigma^2})$$
上面的这个 exp(−‖x