支持向量机之目标函数

支持向量机简单理解之目标函数

  支持向量机（SVM）一般用于分类，当然，还可用于回归，如果感兴趣，可在网上查阅，本文主要简单介绍SVM的部分原理，为了方便理解，对于太复杂的公式，等理解了一部分再看。
  SVM可用于线性可分以及线性不可分的情况，当然，我们学习其原理的时候，先学最基础的，后面再学难一点的，只会事半功倍。本文暂时只说明线性可分的SVM，至于线性不可分的情况以及序列最小最优化（SMO）算法，后面再写几篇进行补充。
  以下是我根据个人理解，尽可能简单的阐述其原理，如有错误之处，请指出，我会加以改正的。

---

  首先引入一个问题：现有一些样本，分为两种类别，这些样本有多个维度（本文以两维举例），让你根据这些样本，去预测新的样本的类别？
话不多说，看图>>>

  很显然，我们一眼就能看出来，这很明显的分成了两类，但是，计算机不能一眼就“看出来”，既然这是两维的，那就画一条直线，把他们分开吧！（当然，也可以画曲线，但涉及核函数，下下下篇博客再写，哈哈…）
  现在，我大概画了几条直线，用于将它们分开

  不知到你怎么看，我是觉得绿色的线比较好，如果你也这样觉得，那好巧啊，SVM也这样觉得，它表示，距离分割线最近的正负样本的两个点与分割线距离之和越大越好，且最佳的分割线与这两个最近点的距离相等。（我是用个人理解的话语说的，可能，你有更好的表述方式，欢迎跟我说）
  请注意，下面，我要关门放“公式”了，不过不要怕，都不难的。
  因为是线性可分的，所以最佳的分割线应该绝对可区分所有样本点！
  这条线长这样：

  假如得到了相应的w和b，那么，如果现在有个新的样本点让你预测类别，只需要将新的样本数据x，带入下面函数进行计算

  如果计算的f(x)<0，那我们就认为，它属于红色那一类，如果f(x)>0，我们就认为，它属于蓝色那一类。如果等于0呢？你猜…
  那么，我们怎么计算出那两个重要的参数w和b呢？

  这里有必要解释一下其含义，怕你不懂。
  这两个是等价的：

  某点到分割线的距离就可以表示为：

  此时，这个距离肯定是大于等于某个值r的，若某点到分割线距离等于r，说明该点距离分割线最近，SVM称它们为支持向量，至于其他点，就不需要管了。
  根据之前的原则，间隔最大化，因此只需要使得这个r最大，即可得到该原则下的最佳的分割线！
  这个目标函数有点难算，我们还需要进行简化（如果你想算，那你算，反正我要简化之后，再算，哈哈。）
  至于怎么简化，首先理解下，函数间隔与几何间隔。

  这个，图在那里，我不说，你品，你细品，哈哈！
  开玩笑的，还是得说一些重要的。
  几何间隔就相当于初中学的点到直线的距离，这个好理解。至于函数间隔，具体就不多说，只说重要的，它比几何间隔少了点东西，显然，计算简单很多，它可以比较出任意两个点，哪个距离直线更近，即可计算出相对距离。几何间隔与函数间隔满足以下关系：

  显然，当||w||=1，的时候，函数间隔与几何间隔计算得到的大小是相等的。
  为了便于计算，我们利用函数间隔与几何间隔之间的关系，考虑一种我们比较喜欢的情况，就是分割线最近的点到分割线的函数间隔为1，此时几何间隔则变为

  注意：对于任意一点以及任意一条直线，成比例的改变直线的w和b，总是存在一个新的w和b，使得点到直线的函数距离为1。
  SVM的目标函数就变成了：

  这里最大化的函数并不是凸函数，不太好进行优化，但可以进行等价的变换，使它变成一个凸函数：

  那么，最后SVM目标函数就可以简化成：

  你，懂了吗？
  这个关于目标函数的解释有好几种，这里只写了其中一种，至于这个目标函数怎么求解，下一篇博客再写，静待更新吧，哈哈…

  未完待续…