关于SVM推导中的1/2*||w||^2的来历

最新推荐文章于 2025-02-22 17:53:10 发布

PIPIXIU

最新推荐文章于 2025-02-22 17:53:10 发布

阅读量5.2k

点赞数

分类专栏：机器学习文章标签：机器学习实战

本文链接：https://blog.csdn.net/PIPIXIU/article/details/77833034

版权

机器学习专栏收录该内容

16 篇文章

订阅专栏

本文介绍了支持向量机(SVM)理论中如何通过假设支持向量处的函数距离来转换优化目标函数，并解释了为什么将目标函数从求最大值1/||w||转化为求最小值1/2 * ||w||²的过程及目的。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在SVM理论中，通过假设支持向量处的函数距离 $y^*(wx^*+b)=1$ 将目标函数转为求 $max \dfrac{1}{||w||}$ 。
在后续理论中会将上式等效为了 $\dfrac{1}{2}||w||^2$ ，这样做的目的是 利用已有的凸优化理论

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

PIPIXIU

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
5
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

SVM在人脸识别领域中的应用与实例

AI天才研究院

06-29

750

1. 背景介绍 1.1 问题的由来人脸识别技术作为一种基于人脸图像的生物特征识别技术，具有广泛的应用前景。然而，人脸图像的复杂性和多样性给人脸识别带来了很大的挑战。传统的人脸识别方法，如基于特征的方法，虽然简单易实现，但是其识别性能受到人脸图像变化的影响较大。因此，如何提高人脸识别的准确性和鲁棒性，成为

SVM在智能家居领域中的应用与实例

AI天才研究院

07-29

464

SVM在智能家居领域中的应用与实例作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：支持向量机(SVM), 智能家居, 机器学习, 应用实例

5 条评论您还未登录，请先登录后发表或查看评论

支持向量机通俗导论（理解SVM的三层境界）

数字定义汽车

11-11

3772

支持向量机通俗导论（理解SVM的三层境界）作者：July 。致谢：pluskid、白石、JerryLead。说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年11月。声明：本文于2012年便早已附上所有参考链接，并注明是篇“学习笔记”，且写明具体参考...

SVM推导过程中r=2/||w||怎么理解

CV工程猫

07-23

1415

下图为西瓜书SVM示意图：结合点到直线距离公式可知：（1）r=2/||w|| 是两个超平面之间的距离。（2）SVM是要使最大化间隔max 2/||w||,即min 1/2*||w||,等价于最小化||w||^2

支持向量机（SVM）：算法讲解与原理推导

北_鱼的博客

02-22

1702

本文介绍支持向量机（SVM）推导过程。

线性可分支持向量机(SVM)详细解析 | 统计学习方法学习笔记 | 数据分析 | 机器学习

zxn1996csdn的博客

09-11

1188

本文包括：支持向量机简介线性可分支持向量机模型的形式函数间隔和几何间隔间隔最大化问题（最大间隔法）对偶算法利用KKT求最优w和b 其它有关数据分析，机器学习的文章及社群 1.支持向量机简介：支持向量机是一种二分类模型，与感知机类比，其相同之处在于它也是需要找到一个超平面对数据集进行分割，区别在于，感知机模型得到的超平面空间中可以有无穷个超平面，但支持向量机仅含有一个，这一个超平面与样本点的间隔是最大化的。支持向量机学习方法包含三种模型，其一为线性可分支持向量机，要求训练集线

SVR为什么要最小化w的模,即为什么是min||w||2

qq_30438779的博客

04-08

645

就是说在SVR回归超平面w'x+m=0两侧的w'x+m=ε、w'x+m=-ε所围成的带状区域内，样本是不计算损失的，只计算没有在这个带状区域内的样本的损失。而且由点到线的距离公式d=|g(x)|/||w||，追求“到超平面最远点的样本的距离最小”不应该最大化w吗，也就是max||w||2。但没想到在学习过程中确实出现了让我疑惑的的地方，就是SVR回归的目标为什么是min||w||2而不是max||w||2,经过演算，写一下我自己的理解。最后，不受x约束的||w||是最小化是min|w'x+m|的关键，

支持向量机

qq_45256352的博客

01-18

920

一、间隔（margin） 1.支持向量机基本原理对一个二分类问题，在线性可分的情况下，可以找到泛化能力最强的最大间隔超平面（Maximum Marginal Hyperplane，MMH）如图 1. 1将两类样本分开的超平面中B，使得间隔（margin）最大如图 1. 2间隔，距离MMH最近的样本点称为支持向量（Support Vector）。与其他模型相比，SVM算法不太容易发生过拟合问题。在非线性可分的情况下，用非线性映射把输入数据变换到较高维的空间，在新的空间中找到最大间隔超平面对应于原空间中的非

数学：SVM(4)转化对偶问题

ShellDawn的博客

03-01

492

首先，支持向量之间的分类间隔r为： r = 2 / ||W|| 分类不等式为： Y+：WTX + b >= +1 Y-：WTX + b <= -1 SVM问题求解在满足分类不等式的同时使r最大：首先考虑使r最大： max r = max 2 / ||W|| SVM考虑的是问题的极值，即max r的极大处，其余各处取什么值毫不关心，只要保证函数极值处不变，连续且单调即可。所以，可以等...

【解密Peter机器学习公式】：一步步进行SVM公式推导之间隔

Mr_tianyanxiaobai的博客

05-29

745

看着Peter在《机器学习》中给出的SVM分类公式表示一脸懵逼，便决定了用自己的语言来对这些公式进行一次推导完成实验报告的同时，也算是为了以后如果忘了推导过程，可以马上翻出来看看。正所谓SVM有三宝：间隔，对偶和技巧。那么接下来我会对这三个关键词说说我的理解。 SVM的中心思想首先来说SVM是怎么进行分类的呢？其实简单的理解话就是划一条线将两个类分开，这条线也就是我需要利用S...

机器学习 | 深入SVM原理及模型推导（一）

TechFlow的博客

08-26

1485

本文始发于个人公众号：TechFlow，原创不易，求个关注今天是机器学习专题的第32篇文章，我们来聊聊SVM。 SVM模型大家可能非常熟悉，可能都知道它是面试的常客，经常被问到。它最早诞生于上世纪六十年代。那时候虽然没有机器学习的概念，也没有这么强的计算能力，但是相关的模型和理论已经提出了不少，SVM就是其中之一。 SVM完全可以说是通过数学推导出来的模型，由于当时还没有计算机，所以模型当中的参数都是数学家们用手来算的。它有一个巨大的应用就是前苏联的计划经济体系，我们知道在计划经济当中，国家有多少社会资

【机器学习】支持向量机SVM原理及推导

热门推荐

Chester-py的专栏

11-02

4万+

SVM的原理和推导

数学：二范数的平方求导

ShellDawn的博客

03-04

2万+

L = ||W||^2 D(L) / D(W) = 2 * W * D(W) / D(W) = 2 * W 所以： L = 1/2 * ||W||^2 D(L) / D(W) = W

最优间隔分类器中为什么最大化1/||w||和最小化1/2*w^2等价

aoc68397的博客

09-24

1813

转自http://www.cnblogs.com/ldphoebe/p/5000769.html 函数间隔的取值并不影响最优化问题的解，因为成比例的改变w和b目标函数和约束条件都不受到影响，所以我们可以让函数间隔为1. 目标函数就变为1/||w||,由于让1/||w||最大化，等价于让分母||w||最小化，为今后求导方便，把1/||w||的最大化等价为的极小化。转载于:https...

机器学习算法/模型——支持向量机

Robin_Pi的博客

02-22

4679

支持向量机线性SVM（软间隔的SVM）概念/术语核函数SVM模型支持向量机（简称SVM）是一个功能强大并且全面的机器学习模型，它能够执行线性或非线性分类、回归，甚至是异常值检测任务。支持向量机的主要目标是得到一条能用于分组的最佳分界线。线性SVM（软间隔的SVM）概念/术语超平面支持向量在寻找最佳分界线的过程中起了支持作用的数据点。硬间隔、软间隔硬间隔：正负样本之间的...

SVM（支持向量机）

https://blog.csdn.net/sinat_36710456

03-01

1140

SVM是一种用于二分类的分类算法，通过数据集训练得到的分类器，可以用来预测新的样本的类别（正例或负例两种类别）。SVM也可以用于回归。文本仅讲述支持向量分类器(SVC)。根据数据集的不同，SVM可以分为三类：线性可分线性不可分非线性下面，以线性可分的情况为例，讲解SVM的概念和基本公式推导过程。一、什么是SVM 先以一个二维数据集实例为例，介绍...

SVM支持向量机详解（二）

yonsan_的博客

06-21

434

目标函数和约束条件，可以用下面的式子表示：公式中一共有p+q个约束条件，其中p个是不等式约束，q个等式约束。关于这个式子可以这样来理解：式中的x是自变量，但不限定它的维数必须为1（视乎你解决的问题空间维数，对我们的文本分类来说，那可是成千上万啊）。要求f(x)在哪一点上取得最小值（反倒不太关心这个最小值到底是多少，关键是哪一点），但不是在整个空间里找，而是在约束条件所划定的一个有限的空间里找，这个有限的空间就是优化理论里所说的可行域。注意可行域中的每一个点都要求满足所有p+q个条件，而不是满足其中一条或几条

SVM模型（硬间隔）

weixin_40530363的博客

03-03

830

支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。 1、线性可分支持向量机学习算法------最大间隔法函数间隔y‘的取值对上面的不等式约束没有影响，对目标函数的优化也无影响。至于等价问题为什么要是平方乘以1/2的系数是因为要将问题转化为凸2次优化问题，便于求解。如此，就将问题转为成了一个凸2次优化问题。最终求解可以得到w、b，以及超平面。在决定分离...

统计学习方法——第七章：支持向量机(part1)

weixin_45680007的博客

11-15

213

线性可分支持向量机首先前面的概念和感知器的相同就不说了函数间隔描述了分类的可信程度所以这一点的函数间隔为而超平面的关于数据集的函数间隔定义为所有点的函数间隔的最小值几何间隔所以优化上述函数间隔，得到同样定义超平面的关于数据集的几何间隔定义为所有点的几何间隔的最小值间隔最大化即我们要求得超平面是关于数据集的几何间隔最大化的超平面 ...

支持向量机具体怎么实现还要为什么叫支持向量机

最新发布

04-23

<think>嗯，用户现在想了解支持向量机的实现原理及其名称的由来。之前他们询问的是SVM在自动驾驶轨迹预测中的应用，现在转向了更基础的理论部分。需要结合之前的回答，但这次要深入SVM的原理和名称来源。首先，用户提到的参考引用是关于SVM的原理和Python实现的，提到SVM是二分类器，对参数敏感，需要扩展多分类。这可能要整合到回答中。但用户现在更关注名称的由来和实现原理，所以需要详细解释这两个方面。名称由来方面，“支持向量”是关键。要解释为什么叫支持向量，可能涉及到间隔最大化和支持向量的作用。需要说明这些向量是如何支撑最优分类超平面的，以及它们在模型中的重要性。实现原理部分，应该包括最大间隔分类器、核技巧、对偶问题等核心概念。可能需要从线性可分的情况开始，再扩展到非线性情况，使用核函数。还要提到软间隔处理噪声数据的情况。用户之前的问题涉及SVM在轨迹预测中的特征工程和核函数选择，比如RBF核。这里可以适当关联，比如在原理部分提到核函数的作用，和之前应用中的例子呼应。要确保回答结构清晰，分点解释。可能需要分几个大点：名称由来、数学原理、核方法、训练过程。同时，结合之前的应用案例，比如在自动驾驶中的使用，说明原理如何支撑实际应用。还要注意用户可能有的疑问，比如为什么选择支持向量，对偶问题的作用，核技巧的意义等。在回答中预判这些问题，并给予解释。最后，生成的相关问题需要引导用户进一步学习，比如参数调优、与其他模型比较、多分类处理等，这些都与之前的应用和当前的理论相关。</think>### 支持向量机（SVM）实现原理及名称由来 --- #### 一、名称由来 **“支持向量机”** 这一名称包含三个核心概念： 1. **支持向量（Support Vectors）** 在分类问题中，距离最优分类超平面**最近的样本点**称为支持向量（如图1）。它们是决定分类边界的关键数据点，直接“支撑”超平面的位置和方向[^1]。 2. **向量（Vector）** 所有输入数据均以**向量形式**表示，通过向量运算构建分类超平面。 3. **机（Machine）** 源于统计学习理论中的“决策机器”，强调其通过数学优化生成决策规则的能力。 ![SVM示意图](https://via.placeholder.com/400x200?text=SVM+Hyperplane+and+Support+Vectors) *图1：SVM分类超平面与支持向量* --- #### 二、实现原理 SVM的核心思想是**最大化分类间隔**（Margin），具体步骤如下： ##### 1. **线性可分情况** - **目标函数**：寻找一个超平面$w^T x + b = 0$，使得两类样本的间隔最大化。间隔计算公式为$\frac{2}{\|w\|}$，因此优化问题转化为： $$\min_{w,b} \frac{1}{2} \|w\|^2 \quad \text{s.t.} \quad y_i(w^T x_i + b) \geq 1, \quad \forall i$$ - **对偶问题**：通过拉格朗日乘子法转化为对偶形式，仅依赖支持向量： $$\max_{\alpha} \sum_{i=1}^n \alpha_i - \frac{1}{2} \sum_{i,j} \alpha_i \alpha_j y_i y_j x_i^T x_j \quad \text{s.t.} \quad \alpha_i \geq 0, \sum \alpha_i y_i = 0$$ ##### 2. **非线性可分情况** - **核技巧（Kernel Trick）** 引入核函数$K(x_i, x_j) = \phi(x_i)^T \phi(x_j)$，将低维非线性数据映射到高维空间实现线性可分。常用核函数： - 高斯核（RBF）：$K(x_i, x_j) = \exp(-\gamma \|x_i - x_j\|^2)$ - 多项式核：$K(x_i, x_j) = (x_i^T x_j + c)^d$ ##### 3. **软间隔（Soft Margin）** 允许部分样本违反约束条件，引入松弛变量$\xi_i$： $$\min_{w,b} \frac{1}{2} \|w\|^2 + C \sum_{i=1}^n \xi_i \quad \text{s.t.} \quad y_i(w^T x_i + b) \geq 1 - \xi_i, \quad \xi_i \geq 0$$ 其中$C$为惩罚参数，控制分类误差与间隔的平衡[^1]。 --- #### 三、关键数学推导 | 步骤 | 公式/原理 | 作用 | |--------------------|------------------------------|-------------------------------| | 原始优化问题 | $\min \frac{1}{2} \|w\|^2$ | 最大化分类间隔 | | 拉格朗日函数 | $L = \frac{1}{2}\|w\|^2 - \sum \alpha_i [y_i(w^T x_i + b) - 1]$ | 将约束问题转化为无约束优化 | | 对偶问题求解 | 仅依赖$\alpha_i > 0$的样本 | 减少计算复杂度 | | 决策函数 | $f(x) = \text{sign}(\sum \alpha_i y_i K(x_i, x) + b)$ | 分类预测 | --- #### 四、SVM特点总结 - **稀疏性**：最终模型仅依赖支持向量，内存效率高。 - **全局最优**：凸优化问题保证解的唯一性。 - **适应非线性**：核函数无需显式计算高维映射。 --- ### 代码示例（线性SVM） ```python from sklearn import svm import numpy as np # 生成线性可分数据 X = np.array([[1, 2], [2, 3], [3, 3], [6, 5], [7, 8], [8, 8]]) y = np.array([0, 0, 0, 1, 1, 1]) # 训练线性SVM clf = svm.SVC(kernel='linear', C=1.0) clf.fit(X, y) # 输出支持向量 print("支持向量：", clf.support_vectors_) ``` --- ### 相关问题 1. SVM为何对参数$C$和$\gamma$敏感？如何系统调参？ 2. 与其他分类器（如逻辑回归）相比，SVM的核心优势是什么？ 3. 如何处理SVM在多分类任务中的局限性？