【机器学习】深入探索SVM概念及其核方法

目录

🍔支持向量机概述

🍔软间隔和硬间隔

🍔 惩罚参数 C 的作用

🍔 核方法

🍔 损失函数

🍔 小结

 

学习目标

• 了解支持向量机的优化目标

• 了解软间隔和硬间隔的区别

• 了解惩罚参数 C 的作用

• 知道常用的核方法

• 知道SVM的损失函数

🍔支持向量机概述

支持向量机在深度学习技术出现之前，使用高斯核的支持向量机在很多分类问题上取得了很好的结果，支持向量机不仅用于分类，还可以用于回归问题。它具有泛化性能好，适合小样本和高维特征的优点。

SVM 是 N 维空间的分类超平面，它将空间切分成两部分。对于二维空间，它是一条线，对于三维空间，它是一个平面，对于更高维空间，它是超平面。

一般情况下，给定一组样本可以得到不止一个可行的线性分类器。那么，在多个可行的线性分类器中，什么样的分类器是最好的？

直观上看，为了得到泛化性更好的分类器，分类平面应该应该不偏向于任何一类，并且距离两个样本都尽可能远，这种以最大化分类间隔为目标的线性分类器就是支持向量机。