机器学习算法之支持向量机SVM

机器学习算法之支持向量机SVM


Outline
1. Optimization Objective
2. large margin intuition
3. The mathematics behind large margin
4. Kernels
5. Using a SVM


1.Optimization Objective

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

4 核函数

前面是这样假设的,当假设样本是线性可分的,存在一个线性超平面能将训练样本正确分类。然而在现实任务中,原始样本空间内也许并不存在一个能正确划分两类样本的超平面。
这里写图片描述
此外,如下图中的“异或”问题就不是线性可分的。
异或问题与非线性映射
对于这样的问题,可以从原始空间映射到一个更高维的特征空间,使得样本在这个特征空间内线性可分。Luckily,如果原始空间是有限维度,那么一定存在一个高维特征空间使得样本可分。

标记点

标记点坐标示例

高斯核函数

高斯核函数分别生成新的feature
那么具体是如何根据一些标记点来生成边界的呢?
如在下图示例,认为距离l1和l2比较近的话,根据新生成的feature f1,f2,f3计算,那么结果预测为1,具体过程如下图。
怎么样根据kernel生成边界的呢

那么问题来了,在训练过程中三个标记点肯定是不够的,实际过程中,我们是怎么样来选择这些标记点的呢???
这里写图片描述

选择标记点过程

SVM参数调优

参数一 C

当C的取值偏大的时候:低偏差,高方差。
当C的取值偏小的时候:高偏差,低方差。

参数二 西格玛平方

高斯核函数的参数 西格玛
当 西格玛平方偏大的时候:根据高斯核函数的图形分析
当 西格玛平方偏小的时候:

这里写图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值