核函数

一、核函数的思想

这里我们讨论决策边界是复杂的非线性方程时的情况：

首先我们引入特征值f的概念：

我们介绍相似性函数和核函数的定义：

举例：我们选择3个标记点，你会发现当我们的数据x与给出的3个标记中的任意一个接近时，我们得到的相似度为1，否则为0。

当我们给出的x接近其中一个标记点时，相对应的f值为1，其他的f值为0，假设函数的结果也为1；

当我们给出的x不接近任何一个标记点时，f都为0，假设函数的结果为0.

从而我们可以画出值为1或0的决策边界，如红色的线。

 

二、核函数2

之前我们使用的标记点是我们自己随意画的，这里我们将所有的训练集或交叉测试集的数据做为标记点。

由于用训练集做为标记点，所以L1d=x1、L2=x2.....

所以这里svm的代价函数就发生了一点变化：

再讨论偏差和方差折中的问题：

当c很大即很小时，会导致低偏差、高方差；

当c很小即很大时，会导致高偏差、低方差；

当很大时，f曲线平缓，会导致高偏差、低方差；

当很小时，f曲线陡峭，会导致低偏差、高方差；