机器学习（五）支持向量机

最新推荐文章于 2023-12-26 17:47:46 发布
最新推荐文章于 2023-12-26 17:47:46 发布
阅读量230 收藏 2
点赞数
分类专栏： 机器学习 文章标签： 支持向量机 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Scracs/article/details/122271419
版权
本文详细介绍了支持向量机（SVM）的概念，包括最大间隔、SMO算法及其优化，以及核函数在处理复杂数据时的作用。通过实例展示了SVM如何解决非线性分类问题，并提供了算法实现及实验总结。
摘要由CSDN通过智能技术生成

支持向量机

1.支持向量机概述

对于理解支持向量机的问题，我们必须了解支持向量是什么？
支持向量（support vector）就是离分隔超平面最近的那些点。
那么问题又来了，什么叫做分隔超平面？
如下图所示是四个线性不可分的数据集：
在这里插入图片描述
观察四个方框中的数据点分布，能否画出一条直线将圆形点和方形点分开呢？答案是可以的。
那么，上述将数据集分隔开来的直线称为分隔超平面（separating hyperplane）。
在这种情况下，这组数据被称为线性可分（linearly separable）数据。

2. 寻找最大间隔

如何求解数据集的最佳分隔直线？
分隔超平面的形式可以写成在这里插入图片描述。
要计算点A到分隔超平面的距离，就必须给出点到分隔面的法线或垂线的长度，该值为在这里插入图片描述。
在这里插入图片描述
最大化间隔的目标就是找出分类器定义中的w和b。为此，我们必须找到具有最小间隔的数据点，而这些数据点也就是前面提到的支持向量。一旦找到具有最小间隔的数据点，我们就需要对该间隔最大化。这就可以写作：
在这里插入图片描述，直接求解上述问题相当困难，所以我们将它转换成为另一种更容易求解的形式。在这里插入图片描述。
其约束条件为：
在这里插入图片描述
其中常数C 用于控制 “最大化间隔” 和 “保证大部分点的函数间隔小于1.0” 这两个目标的权重。在优化算法的实现代码中，常数C 是一个参数，因此可以通过调节该参数得到不同的结果。一旦求出了所有的alpha，那么分隔超平面就可以通过这些alpha 来表达。

SVM的一般流程
(1) 收集数据：可以使用任意方法。
(2) 准备数据：需要数值型数据。
(3) 分析数据：有助于可视化分隔超平面。
(4) 训练算法：SVM的大部分时间都源自训练，该过程主要实现两个参数的调优。
(5) 测试算法：十分简单的计算过程就可以实现。
(6) 使用算法：几乎所有分类问题都可以使用SVM，值得一提的是，SVM本身是一个二类分类器，对多类问题应用SVM需要对代码做一些修改。

3. 简化版 SMO 算法

简化版SMO算法，省略了确定要优化的最佳alpha 对的步骤，而是首先在数据集上进行遍历每一个alpha，再在剩余的数据集中找到另外一个alpha，构成要优化的alpha 对，同时对其进行优化，这里的同时是要确保公式：在这里插入图片描述
由于改变一个alpha可能会导致该约束条件失效，因此我们总是同时改变两个alpha。
代码：

# -*- coding:UTF-8 -*-
from time import sleep
import matplotlib.pyplot as plt
import numpy as np
import random
import types

def loadDataSet(fileName):
    dataMat = []; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():                                     #逐行读取，滤除空格等
        lineArr = line.strip().split('\t')
        dataMat.append([float(lineArr[0]), float(lineArr[1])])      #添加数据
        labelMat.append(float(lineArr[2]))                          #添加标签
    return dataMat,labelMat

def selectJrand(i, m):
    j = i                                 #选择一个不等于i的j
    while (j == i):
        j = int(random.uniform(0, m))
    return j

def clipAlpha(aj,H,L):
    if aj > H:
        aj = H
    if L > aj:
        aj = L
    return aj

def smoSimple(dataMatIn, classLabels, C, toler, maxIter):
    #转换为numpy的mat存储
    dataMatrix = np.mat(dataMatIn); labelMat = np.mat(classLabels).transpose()
    #初始化b参数，统计dataMatrix的维度
    b = 0; m,n = np.shape(dataMatrix)
    #初始化alpha参数，设为0
    alphas = np.mat(np.zeros((m,1)))
    #初始化迭代次数
    iter_num = 0
    #最多迭代matIter次
    while (iter_num < maxIter):
        alphaPairsChanged = 0
        for i in range(m):
            #步骤1：计算误差Ei
            fXi = float(np.multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[i,:].T)) + b
            Ei = fXi - float(labelMat[i])
            #优化alpha，更设定一定的容错率。
            if ((labelMat[i]*Ei < -toler) and (alphas[i] < C)) or ((labelMat[i]*Ei > toler) and (alphas[i] > 0)):
                #随机选择另一个与alpha_i成对优化的alpha_j
                j = selectJrand(i,m)
                #步骤1：计算误差Ej
                fXj = float(np.multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[j,:].T)) + b
                Ej = fXj - float(labelMat[j])
                #保存更新前的aplpha值，使用深拷贝
                alphaIold = alphas[i].copy(); alphaJold = alphas[j].copy();
                #步骤2：计算上下界L和H
                if (labelMat[i] != labelMat[j]):
                    L = max(0, alphas[j] - alphas[i])
                    H = min(C, C + alphas[j] - alphas[i])
                else:
                    L = max(0, alphas[j] + alphas[i] - C)
                    H = min(C, alphas[j] + alphas[i])
                if L==H: print("L==H"); continue
                #步骤3：计算eta
                eta = 2.0 * dataMatrix[i,:]*dataMatrix[j,:].T - dataMatrix[i,:]*dataMatrix[i,:].T - dataMatrix[j,:]*dataMatrix[j,:].T
                if eta >= 0: print("eta>=0"); continue
                #步骤4：更新alpha_j
                alphas[j] -= labelMat[j]*(Ei - Ej)/eta
                #步骤5：修剪alpha_j
                alphas[j] = clipAlpha(alphas[j],H,L)
                if (abs(alphas[j] - alphaJold) < 0.00001): print("alpha_j变化太小"); continue
                #步骤6：更新alpha_i
                alphas[i] += labelMat[j]*labelMat[i]*(alphaJold - alphas[j])
                #步骤7：更新b_1和b_2
                b1 = b - Ei- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[i,:].T - labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[i,:]*dataMatrix[j,:].T
                b2 = b - Ej- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[j,:].T - labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[j,:]*dataMatrix[j,:].T
                #步骤8：根据b_1和b_2更新b
                if (0 < alphas[i]) and (C > alphas[i]): b = b1
                elif (0 < alphas[j]) and (C > alphas[j]): b = b2
                else: b = (b1 + b2)/2.0
                #统计优化次数
                alphaPairsChanged += 1
                #打印统计信息
                print("第%d次迭代 样本:%d, alpha优化次数:%d" % (iter_num,i,alphaPairsChanged))
        #更新迭代次数
        if (alphaPairsChanged == 0): iter_num += 1
        else: iter_num = 0
        print("迭代次数: %d" % iter_num)
    return b,alphas
def showClassifer(dataMat, w, b):
    #绘制样本点
    data_plus = []                                  #正样本
    data_minus = []                                 #负样本
    for i in range(len(dataMat)):
        if labelMat[i] > 0:
            data_plus.append(dataMat[i])
        else:
            data_minus.append(dataMat[i])
    data_plus_np = np.array(data_plus)              #转换为numpy矩阵
    data_minus_np = np.array(data_minus)            #转换为numpy矩阵
    plt.scatter(np.transpose(data_plus_np)[0], np.transpose(data_plus_np)[1], s=30, alpha=0.7)   #正样本散点图
    plt.scatter(np.transpose(data_minus_np)[0], np.transpose(data_minus_np)[1], s=30, alpha=0.7) #负样本散点图
    x1 = max(dataMat)[0]
    x2 = min(dataMat)[0]
    a1, a2 = w
    b = float(b)
    a1 = float(a1[0])
    a2 = float(a2[0])
    y1, y2 = (-b- a1*x1)/a2, (-b - a1*x2)/a2
    plt.plot([x1, x2], [y1, y2])
    for i, alpha in enumerate(alphas):
        if abs(alpha) > 0:
            x, y = dataMat[i]
            plt.scatter([x], [y], s=150, c='none', alpha=0.7, linewidth=1.5, edgecolor='red')
    plt.show()
def get_w(dataMat, labelMat, alphas):
    alphas, dataMat, labelMat = np.array(alphas), np.array(dataMat), np.array(labelMat)
    w = np.dot((np.tile(labelMat.reshape(1, -1).T, (1, 2)) * dataMat).T, alphas)
    return w.tolist()
if __name__ == '__main__':
    dataMat, labelMat = loadDataSet('D:\\迅雷下载\\machinelearninginaction\\Ch06\\testSet.txt')
    b,alphas = smoSimple(dataMat, labelMat, 0.6, 0.001, 40)
    w = get_w(dataMat, labelMat, alphas)
    showClassifer(dataMat, w, b)

运行结果：
在这里插入图片描述

4.利用完整 Platt SMO 算法加速优化

在这两个版本（简化版和完整版）中，实现alpha 的更改和代数运算的优化环节一模一样。在优化过程中，唯一的不同就是 选择alpha 的方式。完整版的Platt SMO算法应用了一些能够提速的启发方法。

Platt SMO算法是通过一个 外循环 来选择第一个alpha值的，并且其选择过程会在两种方式之间进行交替：一种方式是在所有数据集上进行单遍扫描，另一种方式则是在非边界alpha中实现单遍扫描。而所谓非边界alpha指的就是那些不等于边界0或C的alph

最低0.47元/天 解锁文章
温蒂公主的侍卫
关注
专栏目录
支持向量机概述
Always On The Way
05-12 1169
支持向量机概述 支持向量机（support vector machinc，SVM）是在高维特征空间使用线性函数假设空间的学习系统，在分类方面具有良好的性能。在自然语言处理中，SVM广泛应用于短语识别、词义消歧、文本自动分类和信息过滤等方面。 线性分类 二分类问题通常用实数函数f:X⊆Rn→Rf : X \subseteq \R^{n} \rightarrow \Rf:X⊆Rn→R（nnn为输入维数）判别：当f(x)≥0f(\mathbf{x}) \geq 0f(x)≥0时，将输入x=(x1,x2,…,xn)
学习一下支持向量机
~花花~
09-08 185
1、基于最大间隔分隔数据 支持向量机 优点：泛化错误率低，计算开销不大，结果易解释。 缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。 适用数据类型：数值型和标称型数据。 在介绍SVM这个主题之前，先解释几个概念。 线性可分：可以很容易就在数据中给出一条直线将两组数据点分开。 上图的数据都是混合在一起，也就是不能用一条直线进行分类的数据，所以也就是线性不可分数据。 分隔超平面：将数据集分割开来的直线。 在上面的例子中，由于数据点都在二维平面上，所以此时分隔超平面就只是一条直线
《机器学习实战》学习笔记（六）：支持向量机
种树最好的时间是10年前，其次是现在！！！
08-18 7395
专栏【机器学习】 【机器学习】《机器学习实战》读书笔记及代码 总目录 https://blog.csdn.net/TeFuirnever/article/details/99701256 —————————————————————————————————————————————————————— 目录专栏【机器学习】本章内容1、基于最大间隔分隔数据2、寻找最大间隔3、简化版SMO算法4、利用完...
支持向量机简介
gaofen100
05-29 278
支持向量机SVM是从线性可分情况下的最优分类面提出的。所谓最优分类，就是要求分类线不但能够将两类无错误的分开，而且两类指尖的分类间隔最大，前者是保证经验风险最小（为0），而通过后面的讨论我们看到，使分类间隔最大实际上就是使得推广性中的置信范围最小。推广到高维空间，最优分类线就成为最优分类面。 支持向量机是利用分类间隔的思想进行训练的，它依赖于对数据的预处理，即，在更高维的空间表达原始...
数据挖掘十大经典算法(3) Support vector machines
热门推荐
莫等闲
04-30 3万+
支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机属于一般化线性分类器.他们也可以认为是提克洛夫规范化（Tikhonov Regularization）方法的一个特例.这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区.因此支持向量机也被称为最大边缘区分类器。在统
机器学习——支持向量机SVM算法完整实战源码
05-16
基于Python和sklearn机器学习库实现的支持向量机算法使用的实战案例。 使用jupyter notebook环境开发。 支持向量机：支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据...
机器学习——支持向量机思维导图
11-26
"机器学习——支持向量机思维导图" 支持向量机（Support Vector Machine，SVM）是一种监督学习算法，主要用于分类和回归问题。其基本思想是寻找一个超平面，使得训练数据集的样本点中与分离超平面距离最近的样本点...
机器学习算法支持向量机
最新发布
06-30
下面是一个使用Python和著名的机器学习库Scikit-learn实现简单线性支持向量机分类的示例代码。
Support Vector Machine(支持向量机)-机器学习基础
Steve Wang's blog
06-02 752
内容总结自自花书《deep learning》Chapter 5，由英文版翻译而来。英文版官网可以免费查阅：http://www.deeplearningbook.org/ 支持向量机(Support Vector Machine,SVM)是监督学习中一种极具影响力的方法。这种模型与logistic regression相同，都是由线性函数w⊤x+b\pmb{w}^\top \pmb{x}+b...
[机器学习] 分类 --- Support Vector Machine (SVM)
摩登都市天空---专栏
07-11 2万+
1. 基本概念 支持向量机（Support Vector Machine, SVM）的基本模型是在特征空间上找到最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的有监督学习算法，在引入了核方法之后SVM也可以用来解决非线性问题。 一个普通的SVM是一条直线，用来完美划分linearly separable 的两类。但这又不是一条普通的直线，这是无数条可以分类的直线中最完...
支持向量机原理概述
weixin_41857483的博客
11-02 658
什么是SVM？ 支持向量机(Support Vector Machines, SVM)，它是一种二分类模型，属于有监督学习算法。它的决策边界是对学习样本求解最大边距超平面（maximum-margin hyperplane）。 好吧，上面的解释并不是特别清楚，下面举例来说明一下SVM到底是什么。 便于理解，先从二维数据集开始。假如在平面上有圆圈和三角形，希望用一条直线来将它们分隔开。 ...
支持向量机（SVM）简介
Hollaa的博客
07-03 2789
本文主要参考于http://www.cnblogs.com/steven-yang/p/5658362.html基本概念：支持向量机（Support Vector Machine，SVM）是一种解决二元分类问题的方法。它根据实验数据中的部分数据来确定分类器，这些部分数据叫做支持向量。“机”是指分类器。接下来通过实例更加直观的理解支持向量机。
Supervised Learning------Linear Support Vector Machines
qinhe123的博客
06-22 214
Linear Support Vector Machines Introduction 支持向量机（简称SVM）是另一种用于对数据进行分类的机器学习算法。 SVM的目的是尝试找到一条线或超平面来划分最佳分类数据点的维空间。 如果我们试图划分两个类A和B，我们会尝试用线来最好地分隔两个类。 线/超平面的一侧是来自A类的数据，另一侧是来自B类。这种算法在分类时非常有用，因为我们必须计算一次最佳线或...
支持向量机理论概述
sakila的专栏
05-09 712
支持向量机的理论最初来自与对数据二值分类问题的处理。其处理机制可简单地描述为：寻找一个满足分类要求的最优分割超平面，使其在保证分类精度的问题同时最大化超平面两侧的空白区域，这使得SVM分类器的结果不仅在训练集上得到优化，而且在整个样本集上的风险也拥有上界，这就是Svmde结构风险最小化的理想，在线性不可分割的问题上，Vapnik等人成功地引入核空间理论，将低维的输入空间数据通过非线性映射函数映射到高
机器学习——支持向量机（Support Vector Machine）
weixin_37861936的博客
12-20 2178
1、什么是支持向量机？ 支持向量机（Support Vector Machine)是一种非常强大的、灵活的基于监督的机器学习算法。通俗地讲，标准的支持向量机是一种二元分类的算法。其基本模型定义为特征空间上的间隔最大的线性分类器。 在学习支持向量机之前有几个重要的概念： 线性可分(Linearly Separable)：在数据集中，如果可以找出一个超平面，将两组数据分开，那么这个数据集叫做线性可...
支持向量机介绍
噌胥苑——行思驿站
04-25 2072
翻译自OpenCV官网，支持向量机原理介绍，仅供学习参考~~
支持向量机（Support Vector Machines）
JamesSwifte的博客
12-26 1161
理解支持向量机（Support Vector Machines）的一些基础理论知识，如支持向量（Support Vector）、分隔超平面（Separating hyperplane）等重要概念的求解流程，进而掌握SMO高效优化算法的优化思想，以此对现有的数据进行优化，提升分类效果。需要找到一个复杂的升维函数，这往往是费时费力的，引入kernel Trick(核技巧)，直接获得高维度的向量差异度。以上说的都是硬间隔的决策超平面的求解方法，当出现异常点时防止过拟合引入软间隔。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值