关于SVM的难点解读

原创 2016年06月02日 12:12:04

SVM的最优化公式

       在各种对SVM的讲解中,有一个知识点都讲得不够透彻:SVM的目标函数是最大化支持向量的几何间隔,但怎么最后就变成了最小化法向量(斜率)了呢?

       可以想像一下,一个超平面,斜率和截距以相同的倍数增大,这个超平面是不变的。也就是说,一个固定的超平面的参数却是不固定的。在我们求最优超平面时,解空间也就变成了无穷大。我们当然可以通过预先给这些参数设定一些约束来缩小解空间。那么,这个约束就是:令支持向量的函数间隔=1。

       这个约束的优点有两方面:

  • 在超平面都未确定的情况下,当然谁也不知道支持向量是哪些向量,支持向量的几何间隔也只有一个形式化表达,更别谈“最大化支持向量的几何间隔”该如何具体表达出来了。但有了以上约束,“支持向量的几何间隔”的表达中,谁是支持向量已经不重要了,唯一和样本相关的部分,也就是函数间隔,已变为了1.
  • 其它样本的函数间隔要大于支持向量的函数间隔,这是唯一要满足的约束。此时,这个问题的解空间已经不是无穷大了,有了有意义的解空间。

支持向量回归

      本质上跟SVM没什么关系,名字较易让人困惑。但libSVM里都加入了这个功能,不得不说一下。其实是求解一个线性回归问题,但由于对斜率增加了最小范数要求,最优化问题形式上和SVM很像,最后求出的线性函数表达式也跟SVM很像,出现了美妙的与支持向量的内积形式。


版权声明:本文为博主原创文章,未经博主允许不得转载。

SVM由浅入深的详细讲解(遇到最易懂的)

支持向量机通俗导论(理解SVM的三层境界) 作者:July ;致谢:pluskid、白石、JerryLead。 出处:结构之法算法之道blog。 前言 ...
  • zwl1584671413
  • zwl1584671413
  • 2017年12月29日 16:08
  • 213

SVM推导过程及SMO详细求解过程(一)

《PRML》中SVM支持向量机的推导过程!
  • xuanyuansen
  • xuanyuansen
  • 2014年11月13日 14:25
  • 7550

SVM由浅入深的详细讲解(遇到最易懂的)

支持向量机通俗导论(理解SVM的三层境界) 作者:July ;致谢:pluskid、白石、JerryLead。 出处:结构之法算法之道blog。 前言 ...
  • u012990623
  • u012990623
  • 2014年10月19日 22:00
  • 8806

SVM讲解(更新)

SVM讲解 http://blog.csdn.net/v_july_v/article/details/7624837
  • yuhushangwei
  • yuhushangwei
  • 2016年06月04日 18:35
  • 346

SVM由浅入深的详细讲解(遇到最易懂的)

支持向量机通俗导论(理解SVM的三层境界) 作者:July ;致谢:pluskid、白石、JerryLead。 出处:结构之法算法之道blog。 前言 ...
  • zwl1584671413
  • zwl1584671413
  • 2017年12月29日 16:08
  • 213

SVM推导过程及SMO详细求解过程(一)

《PRML》中SVM支持向量机的推导过程!
  • xuanyuansen
  • xuanyuansen
  • 2014年11月13日 14:25
  • 7550

支持向量机SVM(最优化算法中的约束优化问题)

支持向量机通俗导论(理解SVM的三层境界) 作者:July、pluskid ;致谢:白石、jerrylead 出处:结构之法算法之道blog。 前言 第...
  • hlx371240
  • hlx371240
  • 2014年11月01日 16:17
  • 7663

惊呼——SVM支持向量机三重境界!

转载自:原文 前言     动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需...
  • alwaystry
  • alwaystry
  • 2017年03月09日 11:34
  • 578

SVM (支持向量机)

1. 介绍SVM (Support Vector Machine,支持向量机)是一种有监督的统计学习方法,能最小化经验误差和最大化几何边缘,被称为最大间隔分类器,可用于分类与回归分析。如上图所述的线性...
  • llcchh012
  • llcchh012
  • 2015年07月11日 19:10
  • 1722

svm的数学推导原理

来自http://blog.csdn.net/sealyao/article/details/6442403的转载 很清晰明了容易理解。 支持向量机(Support Vector Machin...
  • lidefu1000810218
  • lidefu1000810218
  • 2016年12月07日 15:45
  • 2115
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于SVM的难点解读
举报原因:
原因补充:

(最多只允许输入30个字)