支持向量机(SVM)
流水无Qing
CS计算机硕士一枚,主攻方向为机器学习和数据挖掘,还有移动互联网开发,最感兴趣的是大数据hadoop研究,同时兼顾开发各种java B/S项目,android移动客户端项目,偶尔还设计到图像方面了,当然了,还有一些nodejs,matlab,python,js等各个方面的涉入,同时也希望和大家一起交流、共同进步。
展开
-
支持向量机(SVM)(二)-- 拉格朗日对偶(Lagrange duality)
简介:1、在之前我们把要寻找最优的分割超平面的问题转化为带有一系列不等式约束的优化问题。这个最优化问题被称作原问题。我们不会直接解它,而是把它转化为对偶问题进行解决。2、为了使问题变得易于处理,我们的方法是把目标函数和约束全部融入一个新的函数,为了使问题变得易于处理,我们的方法是把目标函数和约束全部融入一个新的函数,即拉格朗日函数,再通过这个函数来寻找最优点。即拉格朗日函数,再通过这个函数原创 2014-05-07 16:31:07 · 15199 阅读 · 0 评论 -
支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)
在之前为了寻找最有分类器,我们提出了如下优化问题:在这里我们可以把约束条件改写成如下:首先我们看下面的图示:很显然我们可以看出实线是最大间隔超平面,假设×号的是正例,圆圈的是负例。在虚线上的点和在实线上面的两个一共这三个点称作支持向量。现在我们结合KKT条件分析下这个图。我们从式子和式子可以看出如果那么,这个也就说明时,w处于可行域的边界上,这时才是起作用的约束原创 2014-05-08 18:00:04 · 3380 阅读 · 0 评论 -
支持向量机(四)-- 核函数
一、核函数的引入问题1:SVM显然是线性分类器,但数据如果根本就线性不可分怎么办?解决方案1:数据在原始空间(称为输入空间)线性不可分,但是映射到高维空间(称为特征空间)后很可能就线性可分了。问题2:映射到高维空间同时带来一个问题:在高维空间上求解一个带约束的优化问题显然比在低维空间上计算量要大得多,这就是所谓的“维数灾难”。解决方案2:于是就引入了“核原创 2014-05-10 20:58:45 · 5640 阅读 · 1 评论