机器学习第七周（二）--Kernels

Kernels I

构建新特征

如图，我们希望能在这堆训练集中找到一个非线性分界面。按照惯例，我们构建假设函数，可以看到假设函数的项数非常多，如果全部使用计算量非常大，所有我们要选择有用的项目，也就是有用的特征变量。

作者这里定义三个特征变量L(1)，L(2)，L(3)，接下来按照上图方法计算新的特征，这里新特征称为相似性度量。如x-L(1)表示新样本x与标记点L(1)之间的相似性。上图中给出了相似性度量的公式，exp表示e为底的指数函数。对于新特征我们一般用K(x,L(i))表示。同时计算出样本x与样本点L(1)、L(2)、L(3)之间的相似度。
这里的相似度函数就称之为核函数，在这里我们选用的核函数为高斯函数。

---

核的作用

这里，假设样本x与L(1)隔得非常近，即f1近似为1。如果样本x与L(1)隔得非常远。即f1近似为0。
这样，我们就能从给定的样本x中能计算出3个新的特征变量。

---

高斯核表现形式

x对f的影响：
记点x=(3,5)，σ2=1时，f1=1，在最大值位置上，如果x往旁边移动，离这个点越远，从等高线可以看出f1的值就越接近0。
σ对f的影响：
可以看到，当σ不算增大时，曲面图越来越”肿”，等值线图也越来越扩张（类似放大效果）。σ不断增大时，f下降到0的速度会越来越慢；当σ减小时，f下降到0的速度会相对较快。

---

决策边界

这里给出假设函数，并给出将σ0=-0.5，σ1=1，σ2=1，σ3=0（σ3为0时不用计算新特征）。我们离L(1)较近的粉色点，并计算出此时的结果为0.5>=0，预测1。同理计算离L(1)和L(2)都比较远的青色点，计算结果为-0.5<0，预测0。
实际上，对于靠近L(1)与L(2)的点，我们预测结果为1；对于原理L(1)与L(2)的点，我们预测结果为0。
我们画出决策边界如图，在边界内判定为1，边界外判定为0。从这里我们可以看出得到判定边界至少有俩个因素非常重要，一个是标记点，一个就是核函数。

---

Kernels II

上面我们讲到标记点和核函数在判定边界上非常重要，这里我们就怎样选定标记点

作者提出：直接将训练样本作为标记点。如上图，将每一个标记点位置都和样本点位置精确对应。如果按照上面的相似度量，那么特征函数基本上就是在描述每一个样本距离整个样本集中样本的距离（包括它自己）。
输入样本x（这里x可以属于训练集，验证集，测试集都行），计算新特征。

我们将样本x映射到相似度量函数上得到新特征。逐一计算，如上”特征函数就是在描述每一个样本距离样本集中样本的距离（包括它自己）”，所以必然有一项会计算到与它自己的距离，此时结果为1，见上图，这样，我们得到所有的新特征，并组合成一个新的特征向量，同理，我们可以添加f0=1。

---

SVM with Kernels

当我们已经预先知道参数θ，我们只要计算出f就能对样本进行预测。那么怎样得到参数θ呢？

这就是转到用SVM来求解最小化问题了，只要解决这个最小化问题，就能得到支持向量机的参数θ。
注意：

• m是样本，n是特征，有效的特征数量应该等于f 的维数。即n=m。
• 在支持向量机实现过程中，最后一项与上面的有细微差别，这里我们只需知道改成现在这样的结果目的是适应超大的训练集，提高计算效率。
  

  ---

SVM Parameters

C的变化

因为C=1/λ，当C取得越大时，对应λ越小，此时有低偏差，高方差，也就是过拟合现象。
当C取得越小时，对应λ越大，此时高偏差，低方差，即欠拟合现象。

σ2的变化

如图，当σ2较大时，图像较平滑，此时高偏差，低方差，欠拟合；当σ2较小时，图像较陡峭，此时低偏差，高方差。过拟合。