学习笔记:机器学习之支持向量机(一、最大间隔算法)

 活动地址:CSDN21天学习挑战赛

1 简介

        支持向量机也是一种二分类模型,它是通过在特征空间中建立间隔最大的分类器,这是有别于感知机模型的一点。

         支持向量机可分为线性可分支持向量机、线性支持向量机、非线性支持向量机。

2 函数间隔、几何间隔

2.1 函数间隔

        若超平面方程为 \large w^Tx+b=0,样本点为   \large (x_i,y_i),此时函数间隔为\large \hat{\gamma _i}=y_i(w\cdot x+b)

二分类问题,y取值1,-1,即\large w\cdot x+b> 0,y=1,w\cdot x+b<0,y=-1;

        函数间隔表示该样本点分类的确信度,因为当y=1,\large w\cdot x+b越大,距离超平面越远,越不会分错,当y=-1是亦然。

2.2几何间隔

        几何间隔为    \large \gamma _i=y_i(\frac{w^T}{||w||}x_i+\frac{b}{||w||}),很类似于二维空间点到直线的距离公式的形式,不过乘了\large y_i,   \large y_i,w x_i+b 同号时分类正确。

3 线性可分支持向量机

        目的是找到一个能正确划分数据集、几何间隔最大的超平面。仅仅满足能将数据分类正确地超平面可能有很多,但是不一定最优的,因为其他数据继续划分时,这个超平面很可有失效。所以核心思想是先找到最小的几何间隔\small (\gamma =\min_i \gamma _i),并将其最大化。(我的理解是木桶效应,当短板补上了,其他地方肯定慢问题,所以最初要先找几何间隔最小的超平面)

         现在要处理的优化问题为:

\large \max_{w,b} \gamma

 \large s.t. \qquad \qquad y_i(\frac{w^T}{||w||}x_i+\frac{b}{||w||})\geq \gamma \qquad i=1,2,...,N

先用函数间隔表示上边的优化问题:

\small \large \max_{w,b}\frac{\hat{\gamma}}{||w||}

\large s.t. \qquad \qquad y_i(w^Tx_i+bw) \geq \hat{\gamma} \qquad i=1,2,...,N

以下有助于简化问题的求解;

  • \large \hat{\gamma }=1
  • 最大化 \large \frac{1}{||w||}与最小化\large \frac{1}{2}||w||^2是等价的。

到此就得出了线性可分支持向量机算法——最大间隔算法

线性可分支持向量机算法——最大间隔算法

输入:数据集\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},x_i \in R^n,y_i\in \{-1,+1\};

输出:最大间隔分离超平面、分类决策函数。

最优化问题:

\min_{w,b} \quad \frac{1}{2}||w||^2 \\ s.t.\quad y_i(w \cdot x_i+b)-1 \geq 0,i=1,2...,N

求出最优解w^*,b^*,则分离超平面为w^*\cdot x+b=0,分类决策函数为f(x)=sign(w^* \cdot x+b^*)

        支持向量是与分离超平面最近的样本点,是使约束条件中不等式取等号的向量,支持向量决定着分类超平面,所以该模型叫做支持向量机。

参考

【十分钟 机器学习 系列课程】讲义(41):SVM支持向量机-逻辑回归与支持向量机

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值