![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
支持向量机
文章平均质量分 62
Vicky_xiduoduo
这个作者很懒,什么都没留下…
展开
-
机器学习算法——支持向量机SVM7(支持向量回归)
给定训练样本,希望学得一个形如的回归模型,使得f(x)与y尽可能接近。对样本(x,y),传统回归模型通常直接基于模型输出f(x)与真实输出之间的差别来计算损失,当且仅当f(x)与y完全相同时,损失才为零。支持向量回归(Support Vector Regression, SVR)与此不同,假设f(x)与y之间最多有的偏差。即仅当f(x)与y之间的差别绝对值大于时才计算损失。这就相当于以f(x)为中心,构建了一个宽为的间隔带,若训练样本落在此间隔带中,则认为被预测正确。如下图所示。所以,SV.原创 2022-04-24 16:34:17 · 1839 阅读 · 0 评论 -
机器学习算法——支持向量机SVM8(基于乳腺癌数据集的代码实例)
本文使用sklearn来实现SVM。首先,导入所需要的包from sklearn.datasets import load_breast_cancerfrom sklearn.svm import SVCfrom sklearn.model_selection import train_test_splitimport numpy as npfrom time import timeimport datetimeSVM最重要的就是核函数的选择。一般使用线性核函数、多项式核函数、高斯函原创 2022-04-26 11:06:37 · 1463 阅读 · 0 评论 -
机器学习算法——支持向量机SVM6(软间隔)
前面的文章中我们一直假定训练样本在样本空间或特征空间中是线性可分的,即存在一个超平面能将不同类的样本完全划分开。然而,在现实任务中往往很难确定合适的核函数使得训练样本在特征空间中线性可分。退一步说,即使恰好找到了某个核函数使训练样本在特征空间中线性可分,也很难判定这个貌似线性可分的结果不是由于过拟合造成的。缓解该问题的方法就是要引入“软间隔”概念,即允许支持向量机在一些样本上出错。在机器学习算法——支持向量机SVM2(硬间隔与支持向量)_Vicky_xiduoduo的博客-CSDN博客中讲解的硬间隔原创 2022-04-22 17:58:17 · 1957 阅读 · 0 评论 -
机器学习算法——支持向量机SVM5(核函数)
在前面的文章里(支持向量机1-4)假设的训练样本是线性可分的,即存在一个划分超平面能将训练样本正确分类。然而在现实任务中,原始样本空间内也许并不存在一个能正确划分两类样本的超平面。对于这样的问题,可将样本从原始空间映射到一个更高维的特征空间,使得样本在这个特征空间内线性可分。一个定理:如果原始空间是有限维,即属性数有限,那么一定存在一个高维度特征空间使样本可分。令表示将x映射后的特征向量,于是,在特征空间中划分超平面所对应的模型可表示为:其中w和b是模型参数,有:其对偶问题是:原创 2022-04-22 11:23:14 · 1335 阅读 · 0 评论 -
机器学习算法——支持向量机SVM4(SMO算法及KTT条件)
上节中我们得出了原问题的对偶问题为:公式(4.1)那如何求解公式4.1呢?即解出,求出w和b即可得到原型:(公式4.2)显然,公式4.1是二次规划(QP)问题,可使用二次规划算法进行求解。然而,该问题的规模正比于训练样本数,这会在实际任务中造成很大的开销。为了避免这个障碍,人们利用问题本身的特性,研究出很多高效的算法,其中SMO算法就是一个典型的代表。讲解SMO算法之前,就必须先了解什么是KTT条件?一般有等式约束条件时,常常使用拉格朗日乘子法,即把等式约束函数用一个系数与目标函..原创 2022-04-21 17:44:36 · 1090 阅读 · 0 评论 -
机器学习算法——支持向量机SVM3(对偶问题)
上节介绍了如何推导出支持向量机的基本型,这节我们对基本型进行求解。基本型(也称为“原问题”)为: (公式3.1)我们希望求解上述式子得到大间隔划分超平面所对应的模型其中,w和b是模型参数。注意到 公式3.1 是一个凸二次规划问题。=================================================================补充知识区:凸函数的定义:对区间[a,b]上定义的函数f,若它对区间中任意两点x1和x2均有:则称f在区..原创 2022-04-20 19:09:54 · 1571 阅读 · 1 评论 -
机器学习算法——支持向量机SVM2(硬间隔与支持向量)
上一节中,说了超平面(W,b)方程为样本点到超平面的距离怎么求?假设样本点x0(x0为向量)到超平面S距离d的计算过程为:设点x0在平面S上的投影为x1,则wTx1+b=0由于向量与平面S的法向量w平行,所以 (公式 2.1)在这里为了方便理解,我们先讲解一下范数的概念。范数,是具有“距离”概念的函数。在数学上,范数包括向量范数和矩阵范数,向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。我们这里只涉及向量范数。一共有四种范数,包括:L-P范数:L-0范数原创 2022-04-19 19:40:11 · 586 阅读 · 0 评论 -
机器学习算法——支持向量机SVM1(超平面)
支持向量机(Support Vector Machines, SVM)是一种基于统计学习理论的机器学习算法,是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器。SVM学习的基本思想是求解能够正确划分训练数据集并且几何间隔最大的超平面。那何为超平面?很多讲解支持向量机的文章及视频一开始就讲超平面及其方程,对于没有基础的人来说很难理解。首先先说明什么是超平面,超平面是一种数学上的概念,它是线上的一个点,也是平面上的一条直线,也是三维空间的一张平面。点、线、面都可以是超平面,但原创 2022-04-19 16:15:18 · 4407 阅读 · 0 评论