核函数（1）

上图中，很明显，无法用直线作为决策边界，需要用到高次的多项式模型。比如

在这里，我们用一系列新的特征 f 来替换模型中的每一项。例如令：f1=x1,f2=x2,f3=x1x2,f4=x1²

...从而得到 。这是对原有的特征进行组合，我们可以利用核函数来计算新的特征。

给定一个训练实例，我们利用 x 的各个特征与我们事先选定的地标（landmarks）的近似程度来选取新的特征f1,f2,f3。为了表示方便，这里假定有两个特征x1,x2。如下图所示：

例如，f1的计算公式为： ，其中：，为实例x中所有特征与地标之间的距离的和。上式中的就是核函数，也可以称之为相似度函数。具体而言，这里是一个高斯核函数（Gaussian Kernel）。注意：这个函数与正态分布没有半毛钱关系，只是看上去像而已。

训练实例与地标距离的影响

从式子中可以看出，如果一个训练实例x与地标L之间的距离近似于0，则新特征 f 近似于，；如果距离较远，则 f 近似于。

  接着，再来看看不同的 σ 值得影响

图中水平面的坐标为x1,x2 ，而垂直坐标轴代表 f 。可以看出，只有当x与 L1 重合时 f 才具有最大值 1 。 随着 x 的改变 f 改变的速率受到 σ² 的控制。 σ² 越大，f 斜率越小，变化的越慢。

在下图中，当实例处于洋红色的点位置处，因为其离更近，但是离和较远，因此f1接近 1 ，而f2，f3接近 0。因此，因此预测y=1,。同理可以求出，对于离L2较近的绿色点，也预测 y = 1 ，但是对于蓝绿色的点，因为其离三个地标都较远，预测 y= 0。

由此，依据一个单一的训练实例和我们选取的地标，可以得到红色封闭曲线，即判定边界。注意，在预测时，我们采用的特征不是训练实例本身的特征，而是通过核函数计算出的新特征f1,f2,f3。