机器学习基础（七）—支持向量机

支持向量机

1 优化目标

在SVM当中，cost代替了log项，图像和log项的图像非常相似。

在SVM中，我们优化不再使用λ，而是使用C，C这一项是被放到了前面的一项当中，并且1/m被去除。

在支持向量机当中，为了使我们的代价函数最小：

• 当y=1时，那么我们希望z(θ转置*x)能够尽可能的大于等于1，因为当z大于等于1时我们的cost_1函数就会是0，这就可以使代价函数最小

• 当y=0时，我们则希望z小于等于-1，从而使得我们的代价函数最小。

• SVM会选择黑色的线作为决策边界， 然后会以最大的间距将正样本与负样本分开。所以有时候SVM也被叫做大间距分离器。
  

• 在支持向量机当中，如果C被设定的过大，那么我们的向量机就会对异常点非常的敏感。从而会得到红色的那条玫红色的那条线。

• 若C比较小，那么我们的SVM还是会继续使用黑色的那条线。
  

2 大间隔器原理

2.1 向量内积机制

下图中的上面的坐标轴：

• 向量u的长度就等于根号u_1²+u_2²（勾股定理）。而向量v的长度也可以同理得到。通过箭头v做垂直于u的直线，p就是v在u上的映射。那么u.T * v=p*u。
• 当p<90°时呢，我们的p是为正数的。
• 当p>90°时呢，我们的p此时就是负数。
  

2.2 支持向量机选择决策边界的原理

• 假设左图的绿色线为决策边界（支持向量机不会选择这条线）。利用向量内积的原理，我们可以绘制出两个样本在θ上的映射，可以看到此时p⁽¹⁾是一个很小的数，p⁽²⁾为负数。那么如果要满足p⁽ⁱ⁾* ||θ||>=1或p⁽ⁱ⁾*||θ||，那么我们就要尽可能的使||θ||大。那么如果||θ||大了，那就和优化项的1/2 * ||θ²||要尽量小就冲突了。所以支持向量机不会选择这头条决策边界。
  

• 若选择这条绿色决策边界，我们的P就会变大，从而使得我们的θ变小，而为了使θ尽量的小，我们的SVM会找到一个间距，这个间距会使得P尽可能的大，最终目的还是为了使得θ可以尽可能的小。
  

2.3 核函数

当我们需要对高阶项进行计算时，会耗费相当大的计算量，因此这里我们使用核函数来近似。
x与的相似核函数表示如下：

• 当x和l非常近似的时候，那么f就会很接近与1
• 当x和l离的比较远的时候，那么这个时候f就会很接近与0

• 假设我们现在有三个变量，f1,f2,f3对应的相似值landmarks分别为l(1),l(2),l(3)。参数θ1，θ2，θ3已知，当我们的真实样本为玫红色时，可见真实样本与l(1)离的非常近，与l(2),l(3)离的非常的远。因此，这是f1会非常的接近于1，而f2、f3会非常的接近于0，所以此时我们带入可求得我们的值是0.5>=0.5，所以预测值会为1。

• 同样的道理，当我们的实际值离这三个点都非常远的时候，我们的预测值就变成了θ0。

• 又因为我们的θ3是0，所以仅当实际值在红色线区域内我们的预测值才会为1（这样就可以得出我们的决策边界）
  
  如何选择landmark:
  看下图中位于下半部分的两幅图。左边的一幅图是我们的给出的样本所在的位置，我们在每个样本点对应的位置放上一个landmark，然后组成一个向量。
  

• 比如所我们取x⁽ⁱ⁾,那么我们就会得到f⁽ⁱ⁾_1、f⁽ⁱ⁾_2、…、f⁽ⁱ⁾_m。每一个f⁽ⁱ⁾_j，都表示不同样本点与x⁽ⁱ⁾的距离。所以当到f⁽ⁱ⁾_i的时候也就是在计算x⁽ⁱ⁾与自身的相似值，也就1。
  

• 然后将这些f⁽ⁱ⁾进行组合，我就创建了一个新的向量来描述我们的特征向量x⁽ⁱ⁾。

• 然后利用核函数计算SVM
  
• 当C大时，那么此时就很有可能会出现高方差（过拟合）
• 当C小时，此时很有可能会出现高偏差（欠拟合）
• 当sigmoid大时，那么会出现高偏差
• 当sigmoid小时，那么会出现高方差
  

2.4 应用SVM

• 在拟合最优θ时可以调用别人的库
• 选择C
• 选择核函数（线性核函数就是没有使用核函数）
• 如果使用高斯核函数就要选择sigmoid值

• n相对于m来说很大的时候，使用Logistic回归或者线性SVM
• n小，m适中时使用带有高斯核函数的SVM
• n小，m很大的时候加入或创造更多特征，然后用Logistic回归或者线性SVM
• 神经网络在这些条件下都很好，但是训练的比较慢。