![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SVM支持向量机系列理论
知了不知蝉鸣惊
AI
展开
-
SVM系列理论(十一)SMO序列最优化算法
1. SMO 序列最小化算法的基本思想2. 选择两个变量的方法2.1 第一个变量的选择2.2 第二个变量的选择3. SMO序列最小化算法的基本步骤支持向量机的的学习问题可以形式化为求解凸二次规划问题。求解凸二次规划问题可以借用一些凸二次规划求解工具,但这需要强大的计算能力支持。Platt提出SMO序列最小优化算法,可以高效地计算出对偶问题中最佳的拉格朗日乘子...原创 2018-08-09 16:54:26 · 774 阅读 · 0 评论 -
SVM支持向量机系列理论(二) 线性可分SVM模型的对偶问题
2.3 对偶问题2.3.1 原始问题的转换a. 转换形式SVM算法的经典问题是一个凸二次规划模型,求解这个问题比较复杂。min w,b  12||w||2min w,b &amp原创 2018-07-29 18:38:38 · 1840 阅读 · 0 评论 -
SVM支持向量机系列理论(三) 非线性支持向量机与核函数技巧
3.1 核技巧解决非线性SVM3.1.1 非线性SVM解决思路3.1.2 核技巧下SVM3.2 Mercer核例题 判断 (−1+xTx′)(−1+xTx′)(-1 + x^Tx') 是不是核函数?3.3 常用的核函数3.3.1 二次多项式核3.3.2 高斯核3.1 核技巧解决非线性SVM3.1.1 非线性SVM解决思路...原创 2018-08-03 16:59:38 · 7755 阅读 · 0 评论 -
SVM支持向量机系列理论(五)SVM中几种核函数的对比
核函数可以代表输入特征之间特殊的相似性。5.1 线性核形式:K(x,x′)=xTx′K(x,x′)=xTx′K(x, x') = x^T x ' 优点:方案首选,奥卡姆剃刀定律简单,可以求解较快一个QP问题可解释性强:可以轻易知道哪些feature是重要的,限制:只能解决线性可分问题5.2 多项式核形式:K(x,x′)=(a+r xTx′)Q&...原创 2018-08-03 17:04:15 · 7840 阅读 · 0 评论 -
SVM支持向量机系列理论(六) SVM过拟合的原因和SVM模型选择
6.1 SVM 过拟合的原因实际我们应用的SVM模型都是核函数+软间隔的支持向量机,那么,有以下原因导致SVM过拟合:选择的核函数过于powerful,比如多项式核中的Q设置的次数过高要求的间隔过大,即在软间隔支持向量机中C的参数过大时,表示比较重视间隔,坚持要数据完全分离,当C趋于无穷大时,相当于硬间隔SVM6.2 如何选择SVM模型采用不同核函数,会有不同的参数数量,那么...原创 2018-08-03 17:12:28 · 6435 阅读 · 0 评论 -
SVM支持向量机系列理论(四) 软间隔支持向量机
4.1 软间隔SVM的经典问题4.2 软间隔SVM的对偶问题4.2.1 软间隔SVM的对偶问题学习算法4.3 软间隔SVM的支持向量4.4 SVM原始最优化问题等价于最小化合页损失函数4.1 软间隔SVM的经典问题对于线性可分的数据集,可以使用线性可分支持向量机的方法,找出最优间隔的分离超平面。线性可分支持向量机的经典问题为:min w...原创 2018-08-03 17:20:41 · 1614 阅读 · 0 评论 -
SVM支持向量机系列理论(七) 线性支持向量机与L2正则化 Platt模型
7.1 软间隔SVM等价于最小化L2正则的合页损失上一篇 说到,ξiξi \xi_i 表示偏离边界的度量,若样本点(xi,yi)(xi,yi)(x_i,y_i) 满足约束时,则 ξi=0ξi=0 \xi_i =0, 当不满足约束时,ξi=1−yi(w⋅xi+b)ξi=1−yi(w⋅xi+b) \xi_i =1 - y_i(w \cdot x_i + b),表示偏离margin的度量。...原创 2018-08-03 21:21:10 · 1805 阅读 · 0 评论 -
SVM支持向量机系列理论(八) 核逻辑回归
1. Representer Theorykernel 逻辑回归就是使用Representer Theory在L2正则的逻辑回归模型中应用核技巧。原创 2018-08-03 22:09:18 · 1330 阅读 · 0 评论 -
SVM支持向量机系列理论(九) 核岭回归
1. 岭回归问题岭回归就是使用了L2正则化的线性回归模型。当碰到数据有多重共线性时(自变良量存在高相关性),我们就会用到岭回归。岭回归模型的优化策略为:minw    1N∑i(yi−w⋅zi)2+λNwTw    &a原创 2018-08-05 15:07:48 · 5596 阅读 · 0 评论 -
SVM系列理论(十) SVR支持向量回归
前面提到,对于回归问题, 核岭回归,即最小二乘SVM(LSSVM),ββ \beta的值大部分不为0,其支持向量非常多,也就是稠密的,而并不像soft-SVM中的αα \alpha一样,大部分αα \alpha`为0. 支持向量回归(SVR)模型可以解决这个问题。1 敏感度损失函数为了得到,岭回归得到的是稠密的ββ \beta,本质上是其采用了最小二乘损失,为了得到稀疏的支持向量回归...原创 2018-08-08 11:13:48 · 8144 阅读 · 0 评论 -
SVM支持向量机系列理论(一) 线性可分SVM与硬间隔最大化
2 线性可分SVM与硬间隔最大化硬间隔最大化指的是当数据完全可分时,支持向量和分离超平面之间的间隔最大化。2.1 SVM思想对一个线性可分的二分类数据集:D=(xi,yi),i=1 ,... ,ND=(xi,yi),i=1 ,...&am原创 2018-07-27 17:29:09 · 1325 阅读 · 0 评论