深度学习第四课—SVM

Joshua say:

1. KNN没有训练过程,基本原理就是找到训练数据集里面离需要预测的样本点距离最近的K个值(距离可以使用比如欧式距离,K的值需要自己调参)来实现分类。

    SVM需要超平面wx+b来分割数据集(此处以线性可分为例),因此会有一个模型训练过程来找到w和b的值。训练完成之后就可以拿去预测了,根据函数y=wx+b的值来确定样本点x的label,不需要再考虑训练集。对于SVM,是先在训练集上训练一个模型,然后用这个模型直接对测试集进行分类。

2. 根据第一条,两者效率差别极大。

     KNN没有训练过程,但是预测过程需要挨个计算每个训练样本和测试样本的距离,当训练集和测试集很大时,预测效率感人。SVM有一个训练过程,训练完直接得到超平面函数,根据超平面函数直接判定预测点的label,预测效率很高(一般我们更关心预测效率)。

3. 两者调参过程不一样。 KNN只有一个参数K,而SVM的参数更多,在线性不可分的情况下(这种情况更普遍),有松弛变量的系数,有具体的核函数。
————————————————
原文链接:https://blog.csdn.net/WarGames_dc/article/details/89235746

2.SVM原理梳理 

支持向量积:

1> 两个范围区域中哪两个点相对来说比较近(挑出来作为支持向量)

2>找出一条决策边界将其分开

注意:支持向量要较小的,考虑离自己最近的雷

决策边界要大的,要最宽的道路才能行动的更快,不容易踩雷

寻找支持向量:

距离与数据定义:在平面上构造了直线,点到平面的距离公式,借助了向量和法向量进行相关求解

具体步骤:

1. 距离计算(点到平面距离)

点知道,面不知道(面为假设),用到向量和法向量知识

2. 目标函数

目的:找到一条线,使得离该线最近的点最远

放缩变换和优化目标

目标函数能够体现SVM的基本定义

3. 部分数学原理

拉格朗日乘子法(约束条件下求极值)

4.软间隔优化

考虑一些异常的噪音,让分类更合理。(引入松弛因子)

目标函数的变化,及C的引入(能够体现容错能力) 

 

5. 核函数 (分类好的关键)

 升维,二位的变成三维的,可能能够很好的用平面分开

映射到高维,可能更好看出来不同,但确实计算量增大了很多 

3.SVM代码运行注释

加载相关包: 

 

加载数据、切分数据集:

构建SVM分类器,训练函数 :

初始化分类器实例,训练模型 :

展示训练结果及验证结果 :

 

 

 

 

 

 

 

 

 

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值