分类:支持向量机(一)——完全线性可分

     最初学习、理解支持向量机时,有点费劲,参考了一些不错的书籍和博客,这里推荐一下:

  1. http://blog.pluskid.org/?page_id=683
  2. https://www.cnblogs.com/pinard/p/6097604.html
  3. 李航老师的《统计学习方法》

1.支持向量机简介

       支持向量机(Support Vector Machine,SVM)是一种二类分器,只支持两种类别的分类,不过在一些场合下可以将多个SVM串联起来,达到多分类的目的,下面先从二维情况入手,说明一下SVM如何实现分类。

       观察下面这张XOY平面上的图

                                                                    

                                                                                                     图 1

       蓝色的数据点属于类A,绿色的数据点属于类B,中间有一条红色直线将两类数据点分隔开,那么在XOY平面上可以得到这条直线的方程w^{T}x+b=0,构建SVM模型的过程就是计算参数w,b、得到这条直线(针对二维的情况而言,多维情况下就是超平面)的过程。分类时,将待分类数据x_{0}代入到函数f(x)=w^{T}x+b中,若结果大于0则为类B,小于0则为类A

2.构建支持向量机

      2.1 支持向量

      从图1中就可以看到,能将类A、类B包含的数据点完全分开的直线实际上有无数条(如红色虚线)

                                                            

                                                                                             图 2

        那么SVM中需要的、要确定的是哪一条呢?SVM的分类方式是计算f(x_{0})=w^{T}x_{0}+b,如果结果为正/负,那么结果越大/小,我们就越相信为

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
线性支持向量机可以用于多类分类任务。一种常见的方法是使用一对多(One-vs-Rest)策略。即对于有K个类别的问题,我们训练K个线性支持向量机模型,每个模型只将一类作为正例,其他K-1个类别作为负例。在预测时,我们通过将样本输入到这K个模型中,并选择具有最高置信度的类别作为最终的预测结果。这种方法适用于线性可分的多类问题,每个模型都试图将自己的正例与其他所有类别进行区。 另一种方法是使用一对一(One-vs-One)策略。即对于有K个类别的问题,我们训练K * (K-1) / 2个线性支持向量机模型,每个模型只将两个类别作为正例和负例。在预测时,我们将样本输入到这些模型中,并使用投票或其他方法来选择具有最多支持向量的类别作为最终的预测结果。这种方法适用于线性可分的多类问题,每个模型只需要在其正例和负例之间进行二分类。 另外,支持向量机还可以通过核技巧来处理非线性多类问题。通过将输入数据映射到高维特征空间,支持向量机可以构造出非线性的决策边界。在高维特征空间中,线性支持向量机可以被用于多类分类问题。 总结起来,线性支持向量机可以通过一对多或一对一策略来进行多类分类。此外,通过核技巧,线性支持向量机还可以处理非线性多类问题。 <span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值