kernels SVM

目标：拟合非线性边界
想法：拟合复杂多项式
$$\{\begin{array}{l}y={\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3+{\theta }_4{f}_4\\ f_1=x_1,f_2=x_2,f_3=x_1{x}_2,d_4=x_4^2\end{array}$$

事实上，f1、f2、f3被表示得太复杂了，我们可以在不改变他们功能的前提下换个方式来表示他们（换个数学工具）

手动选取三个特征点，(x0为截距1，直接忽略），分别为$l^{\left(1\right)}\text{、}{l}^{\left(2\right)}\text{、}{l}^{\left(3\right)}$

每个l可以这么表示，举个例子：
$$f_1=similarity\left(x,l^{\left(1\right)}\right)=\exp \left(-\frac{\Vert x-l^{\left(1\right)}\Vert }{2{\sigma }^2}\right)$$
注：$\Vert x\Vert \text{欧氏距离}$
similarity函数就是高斯kernel函数
注：这个函数与正态分布没什么实际上的关系，只是看上去像而已。

对kernel函数的介绍

对于
$$f_1=similarity\left(x,l^{\left(1\right)}\right)=\exp \left(-\frac{\Vert x-l^{\left(1\right)}\Vert }{2{\sigma }^2}\right)$$
假设x接近$l^{\left(1\right)}$，那么这个函数会接近于1
反着来想，函数会接近于0

假设

如果l1为[3 5]，那么当x也为[3 5]时，f1才为1，否则离1的值会原来越远。
${\sigma }^2\text{会影响}f\text{值的变化（移动）}$

划定边界

$\{\begin{array}{l}\text{设}y={\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3\\ {\theta }_0=-0.5,{\theta }_1=1,{\theta }_2=1,{\theta }_3=0\end{array}$
我们随机在图像上取一点（图中洋红色点）

通过设置$\theta$就可以确定分类的边界（图中红圈）

选取特征点$l^{\left(i\right)}$

直径从训练集里面选定样本点
我们通常是根据训练集的数量选择地标的数量，即如果训练集中有𝑚个实例，则我们选取 𝑚个地标，并且令𝑙(1)=𝑥(1),𝑙(2)=𝑥(2),…,𝑙(𝑚)=𝑥(𝑚)。这样做的好处在于：现在我们得到的新特征是建立在原有特征与训练集中所有其他特征之间距离的基础之上的，即（给定x）：

算好了f之后，带入测试集，当 𝜃^𝑇𝑓>=0 时，预测 𝑦=1
Σ𝜃𝑗²=𝜃^𝑇𝜃
我们还需要对最后的正则化项进行些微调整，在计算∑𝜃² = 𝜃^𝑇𝜃时，我们用𝜃^𝑇𝑀𝜃代替,其中𝑀是根据我们选择的核函数而不同的一个矩阵。这样做的原因是为了简化计算。
下面是支持向量机的两个参数
𝐶和 𝜎的影响：