![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习#SVM
yeqiustu
这个作者很懒,什么都没留下…
展开
-
非线性SVM--kernel
前面我们知道,SVM本质是一个线性分类器,如果数据本身线性不可分,那SVM就不能直接应用了;虽然不能直接应用,但还是可以先把数据变得基本线性可分再应用SVM;那如何把数据从线性不可分变成基本线性可分的状态呢?答案便是进行空间转换,把数据从一个空间转换到另一个空间;一个最自然的想法便是低维空间到高维空间的转换,既然在低维空间线性不可分,那便转换到高维空间,也许就能基本线性可分了;如下图所示,一维空间...原创 2020-04-25 16:07:39 · 425 阅读 · 0 评论 -
SVM系列
该系列将通过以下几篇来讲述SVM: SVM优化目标 这篇主要讲SVM的基本思想以及优化目标的推演 软件间隔 支持向量 SVM求解--对偶 这篇主要讲SVM优化目标的对偶问题,即如何将难以求解的优化目标转出容易求解的对偶问题 SVM求解--smo 这篇主要讲SVM对偶问题的高效求解算法--smo 非线性SVM--kernel 这篇主要讲非线性SVM,即通过ker...原创 2020-04-23 23:55:42 · 141 阅读 · 0 评论 -
SVM优化--对偶
在SVM--基本思想中讲到SVM的优化目标,这里再贴出来,如下: 这是一个二次规划问题,虽然可以直接应用KKT条件进行求解,但是还是太过复杂,不易求解; 首先对该问题进行一下转化,设 其中、、 , ,也即有 ,参照KKT的证明, 易知,当 时, ,等式右边是等式左边的对偶 最终,SVM的优化目标等价于 先求,即 将这些代入上公式,即有 当时,,有 当时...原创 2020-04-23 23:21:05 · 294 阅读 · 0 评论 -
SVM--基本思想
本篇是SVM(support vector machine)系列的第一篇,主要讲述SVM的基本思想。 本文将围绕以下几个问题进行展开: 1. SVM的基本思想是什么 2. SVM的优化目标怎样推演而出的 3. 什么是支持向量(support vector) SVM的基本思想 SVM本质上来说是一个线性二分类器(可以先对输入X进行非线性变换再送入SVM从而实现非线性分类) 对于一个分类...原创 2020-04-22 00:14:06 · 6528 阅读 · 0 评论 -
SVM优化--smo
本篇是SVM系列的最后一篇,将讲解SVM的求解,即SMO算法 待优化问题 回顾一下,SVM的优化问题最终可以转化为如下形式: 显然,该问题同样不好直接优化求解,而Platt提出的SMO算法便是一个可以高效的求解上述问题的算法,他把原始问题的求解N个参数二次规划问题分解成多个二次规划问题进行迭代求解,即每次选择一对变量而固定其它变量来进行求解;根据问题的等式约束,当变动时,也要随之变动以满...原创 2020-04-19 13:16:48 · 1046 阅读 · 0 评论