数学建模学习笔记之支持向量机(SVM)
支持向量机可以用来分类和回归分析。给定一组训练样本,每个标记为属于两类,一个SVM训练算法建立了一个模型,分配新的实例为一类或其他类,使其成为非概率二元线性分类。除了进行线性分类,支持向量机可以使用所谓的核技巧,它们的输入隐含映射成高维特征空间中有效地进行非线性分类。
说白了就是机器学习里用来进行数据分类的算法。在数模中也基本是用来分类,和聚类分析一样。
原理
原理比较复杂,于是简单写一下,力求能解释清就行,如果想要透彻理解请去看司守奎老师的书以及我给出的链接。
分类问题:对于给定的训练集,寻找到一个映射函数,使进行映射后训练集可以分为两类。
线性可分支持向量机:对于训练集
其中ai组成输入空间,yi等于-1或1。如果能够寻找到一个线性规则即 ωa+b 使得所有满足y=1的ai和满足y=-1的ai分别处于一个正数的两边,也就说这个训练集是线性可分的。同时以此把这两个训练集分为M+,M-。
凸包:一堆点的最外围点连起来形成封闭图形,这里有M+的凸包和M-的凸包。
定理1:训练集T 线性可分的充要条件是,两类样本集 M+和M-的凸包相离。
定理2:当训练集样