机器学习学习笔记（六）--支持向量机

最新推荐文章于 2024-05-03 16:19:19 发布

Womeng_qin

最新推荐文章于 2024-05-03 16:19:19 发布

阅读量609

点赞数 1

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/weixin_44546905/article/details/104640155

版权

本文深入探讨支持向量机（SVM）的数学原理和工程实现，包括其物理含义、数学推导、支持向量概念、拉格朗日乘子法、核函数的作用以及软间隔与正则化的意义。通过对SVM的学习，理解其如何在机器学习中解决非线性分类问题并提升模型的泛化能力。

摘要由CSDN通过智能技术生成

专业词汇

Large Margin
超平面 （hyperplane）
鲁棒性（Robustness）
支持向量机（Support Vector Machine）
"间隔" (margin)
最大|间隔 (maximum margin)
个凸二次规划(convex quadratic programming) 问题
"对偶问题" (dual problem)
KKT (Karush-Kuhn-Tucker)
SMO (Sequential Minimal Optimization) 
"核函数" (kernel function)
"核技巧" (kernel trick).
"支持向量展式"(support vector expansion)
"再生核希尔伯特空 间" (Reproducing Kernel Hilbert Space，简称 RKHS)
"软间隔" (soft margin)
"硬间隔" (hard margin

内容概括

经典二分类问题，决策边界泛化能力大（鲁棒性）

物理含义

选出距离雷区最远的分类超平面（雷区：分类边界上的点）
该超平面对训练样本局部扰动的容忍性最好，鲁棒性好

数学原理推导

下面推到过程中可能会有在x的位置写成x的函数的情况，全部当x就好，具体用途见后面的板块

由法向量w和位置b决定超平面方程：

点x到超平面的距离

在这里插入图片描述

支持向量机间隔

当面对确定的样本集时，SVM间隔只与超平面的法向量有关
在这里插入图片描述
对于确定的样本集，法向量w的转置确定以后---->雷区边界确定------>超平面确定（两雷区中间线）
雷区边界方程： wx+b=±c （因为超平面定义在两雷区边界中点）
该超平面的方程：wx+b=0 （w有转置符号）
c是一个确定的数值，我们为了推导方便，令c=1
在这里插入图片描述