关于SVM的难点解读

原创 2016年06月02日 12:12:04

SVM的最优化公式

       在各种对SVM的讲解中,有一个知识点都讲得不够透彻:SVM的目标函数是最大化支持向量的几何间隔,但怎么最后就变成了最小化法向量(斜率)了呢?

       可以想像一下,一个超平面,斜率和截距以相同的倍数增大,这个超平面是不变的。也就是说,一个固定的超平面的参数却是不固定的。在我们求最优超平面时,解空间也就变成了无穷大。我们当然可以通过预先给这些参数设定一些约束来缩小解空间。那么,这个约束就是:令支持向量的函数间隔=1。

       这个约束的优点有两方面:

  • 在超平面都未确定的情况下,当然谁也不知道支持向量是哪些向量,支持向量的几何间隔也只有一个形式化表达,更别谈“最大化支持向量的几何间隔”该如何具体表达出来了。但有了以上约束,“支持向量的几何间隔”的表达中,谁是支持向量已经不重要了,唯一和样本相关的部分,也就是函数间隔,已变为了1.
  • 其它样本的函数间隔要大于支持向量的函数间隔,这是唯一要满足的约束。此时,这个问题的解空间已经不是无穷大了,有了有意义的解空间。

支持向量回归

      本质上跟SVM没什么关系,名字较易让人困惑。但libSVM里都加入了这个功能,不得不说一下。其实是求解一个线性回归问题,但由于对斜率增加了最小范数要求,最优化问题形式上和SVM很像,最后求出的线性函数表达式也跟SVM很像,出现了美妙的与支持向量的内积形式。


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

支持向量机SVM(最优化算法中的约束优化问题)

支持向量机通俗导论(理解SVM的三层境界) 作者:July、pluskid ;致谢:白石、jerrylead 出处:结构之法算法之道blog。 前言 第...

机器学习第十课:支持向量机SVM(一)线性可分(硬间隔)SVM

SVM---硬间隔最大化数学原理。SVM三部曲之二

对SVM的理解

之前以为SVM很强大很神秘,自己了解了之后发现原理并不难,不过,“大师的功力在于将idea使用数学定义它,使用物理描述它”,这一点在看SVM的数学部分的时候已经深刻的体会到了,最小二乘法、梯度下降法、...

SVM由浅入深的详细讲解(遇到最易懂的)

支持向量机通俗导论(理解SVM的三层境界) 作者:July ;致谢:pluskid、白石、JerryLead。 出处:结构之法算法之道blog。 前言 ...

一个C++老鸟眼中的 C++ VS Java

语言本身没有优劣之分,但程序员有强弱之别。 1、在内存管理方面   在这方面我更欣赏java,也认为这是java比C++更易用的重要原因。C++的用户自己管理 内存和灵活的指针用法往往让用户为了一...

leetCode 101/199-Symmetric Tree/Binary Tree Right Side View

链接:https://leetcode.com/problems/symmetric-tree/ 此题就是判断一棵二叉树是否为对称二叉树,刚开始以为中序遍历输出,然后看是否是为回文字串,但是这种思路是...

关于svm研究的热点和难点是什么

支持向量机的发展   自从90年代初经典SVM的提出,由于其完整的理论框架和在实际应用中取得的很多好的效果,在机器学习领域受到了广泛的重视。其理论和应用在横向和纵向上都有了发展。   理论上:1.模糊...
  • lmz6228
  • lmz6228
  • 2011年05月04日 13:57
  • 437

使用sklearn中svm做多分类时难点解惑

一,parameters: decision_function_shape: 两种方法one v one 或者 one v rest decision_function_shape : ‘...

SVM松弛变量解读

1.松弛变量反映了SVM模型对野点的容忍程度,只有野点有对应的松弛变量。也就是说,软间隔的SVM允许部分样本点分类错误来换取模型更强的泛化能力。 2.松弛变量本质是个变量,而且不能小于0。...

Spark的MLLib中,SVM官方示例所用的load方法源码解读

Spark中MLLib中SVM官方算法的load方法的阅读
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于SVM的难点解读
举报原因:
原因补充:

(最多只允许输入30个字)