mechine learning 之 SVM
Nil_NULL_
这个作者很懒,什么都没留下…
展开
-
SVM系列
SVM(一) 问题的提出SVM是支持向量机从诞生至今才10多年,发展史虽短,但其理论研究和算法实现方面却都取得了突破性进展,有力地推动机器学习理论和技术的发展。这一切与支持向量机具有较完备的统计学习理论基础的发展背景是密不可分的。我看了一下网上的帖子和有关的资料,目前关于SVM大约有3到4个版本,但在网上到处都是转载的内容,最后谁叶不知原稿人是谁。svm主要分有4个问题转载 2015-10-27 17:03:42 · 317 阅读 · 0 评论 -
支持向量机:Duality
在之前关于 support vector 的推导中,我们提到了 dual ,这里再来补充一点相关的知识。这套理论不仅适用于 SVM 的优化问题,而是对于所有带约束的优化问题都适用的,是优化理论中的一个重要部分。简单来说,对于任意一个带约束的优化都可以写成这样的形式:mins.t.f0(x)fi(x)≤0,i=1,…,mhi(x)=0,i=1,…,p形式统一能够简化推导过程中不必要的复杂转载 2015-10-28 15:35:00 · 342 阅读 · 0 评论 -
支持向量机: Kernel
本文是“支持向量机系列”的第三篇,参见本系列的其他文章。前面我们介绍了线性情况下的支持向量机,它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过,由于是线性方法,所以对非线性的数据就没有办法处理了。例如图中的两类数据,分别分布为两个圆圈的形状,不论是任何高级的分类器,只要它是线性的,就没法处理,SVM 也不行。因为这样的数据本身就是线性不可分的。对于这个数据集,我可以悄悄透露一下:转载 2015-10-28 15:59:09 · 335 阅读 · 0 评论 -
支持向量机:Outliers
本文是“支持向量机系列”的第四篇,参见本系列的其他文章。在最开始讨论支持向量机的时候,我们就假定,数据是线性可分的,亦即我们可以找到一个可行的超平面将数据完全分开。后来为了处理非线性数据,使用 Kernel 方法对原来的线性 SVM 进行了推广,使得非线性的的情况也能处理。虽然通过映射ϕ(⋅) 将原始数据映射到高维空间之后,能够线性分隔的概率大大增加,但是对于某些情况还是很难处理。例如转载 2015-10-28 16:06:08 · 303 阅读 · 0 评论 -
支持向量机: Support Vector
支持向量机: Support Vector本文是“支持向量机系列”的第二篇,参见本系列的其他文章。上一次介绍支持向量机,结果说到 Maximum Margin Classifier ,到最后都没有说“支持向量”到底是什么东西。不妨回忆一下上次最后一张图:可以看到两个支撑着中间的 gap 的超平面,它们到中间的 separating hyper plane 的距离相等(想想看转载 2015-10-28 15:43:34 · 323 阅读 · 0 评论 -
最优化理论与KKT条件
1. 最优化理论(Optimization Theory)最优化理论是研究函数在给定一组约束条件下的最小值(或者最大值)的数学问题. 一般而言, 一个最优化问题具有如下的基本形式:min.:f(x)s.t.:gi(x)≤0,i=1,2,...,p,hj(x)=0,k=1,2,...,q,x∈Ω⊂Rn其中. f(x)为目标函数,gi(x)≤0,i=1,2,转载 2015-10-28 15:17:23 · 790 阅读 · 0 评论 -
支持向量机:Kernel II
本文是“支持向量机系列”的第七篇,参见本系列的其他文章。在之前我们介绍了如何用 Kernel 方法来将线性 SVM 进行推广以使其能够处理非线性的情况,那里用到的方法就是通过一个非线性映射ϕ(⋅) 将原始数据进行映射,使得原来的非线性问题在映射之后的空间中变成线性的问题。然后我们利用核函数来简化计算,使得这样的方法在实际中变得可行。不过,从线性到非线性的推广我们并没有把 SVM 的转载 2015-10-28 16:08:34 · 301 阅读 · 0 评论 -
支持向量机: Maximum Margin Classifier
支持向量机: Maximum Margin Classifier本文是“支持向量机系列”的第一篇,参见本系列的其他文章。支持向量机即 Support Vector Machine,简称 SVM 。我最开始听说这头机器的名号的时候,一种神秘感就油然而生,似乎把 Support 这么一个具体的动作和 Vector 这么一个抽象的概念拼到一起,然后再做成一个 Machine ,一听就很玄转载 2015-10-28 15:42:20 · 356 阅读 · 0 评论 -
支持向量机:Numerical Optimization
本文是“支持向量机系列”的第五篇,参见本系列的其他文章。作为支持向量机系列的基本篇的最后一篇文章,我在这里打算简单地介绍一下用于优化 dual 问题的 Sequential Minimal Optimization (SMO) 方法。确确实实只是简单介绍一下,原因主要有两个:第一这类优化算法,特别是牵涉到实现细节的时候,干巴巴地讲算法不太好玩,有时候讲出来每个人实现得结果还不一样,提一下方转载 2015-10-28 16:07:43 · 278 阅读 · 0 评论