机器学习实战学习笔记3——支持向量机

1.SVM算法概述


1.1 SVM简介


支持向量机(Support Vector Machine),是90年代中期发展起来的基于统计学习理论的一种机器学习方法,通过寻求结构化风险最小来提高学习机泛化能力,实现经验风险和置信范围的最小化,从而达到在统计样本量较少的情况下,亦能获得良好统计规律的目的。本身是一种监督式学习的方法,广泛应用于统计分类以及回归分析中。

1.2 SVM工作原理


它使用非线性映射,将原训练数据映射到高维上。在新的维上,搜索最佳分离超平面(即将一个类的元组与其他类分离的“决策边界”)。当数据点离决策边界越远,其最后的预测结果越可信。所以,我们希望找到离分隔超平面最近的点,确保它们离分隔面的距离尽可能远,即点到分隔面的距离间隔尽可能大(最大间隔Maximum Margin)。

1.3 SVM的分类

根据训练数据的特点,在学习SVM分类器时可以采用不同的策略,得到截然不同的分类器。

(1)当训练数据线性可分时,通过硬间隔最大化(hard margin maximization),学习线性分类器

(2)当训练数据近似线性可分时,通过软间隔最大化(soft margin maximization),学习线性分类器。

(3)当训练数据线性不可分时,通过使用核技巧(kernel trick)及软间隔最大化,学习非线性分类器。

1.4 SVM算法优缺点


(1)优点泛化错误率低,计算开销不大,结果易于解释。对复杂的非线性边界建模能力较强,不容易过拟合。
(2)缺点:训练速度较慢,对参数调节和核函数的选择敏感,原始分类器仅适用于二分类问题。应对大规模训练数据时开销较大。
(3)应用:可以用于数值预测和分类。应用领域包括手写数字识别、基准时间序列预测检验。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值