SVM——线性支持向量机和软间隔最大化

最新推荐文章于 2022-01-07 18:15:56 发布

watermelon12138

最新推荐文章于 2022-01-07 18:15:56 发布

阅读量1.8k

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/watermelon12138/article/details/90035891

版权

线性支持向量机（SVM）用于处理接近线性可分的数据，通过引入松弛变量实现软间隔最大化。目标函数包括间隔最大化和误分类点数最小化。原始问题的对偶问题通过对拉格朗日函数求解，最终的最优解可通过满足KKT条件的α*获得。

摘要由CSDN通过智能技术生成

1、线性支持向量机

线性可分支持向量机只适用于训练数据集线性可分的情况，而对于数据集接近线性可分的情况，利用线性可分支持向量机不可能找到一个最优分界面使得正类数据和负类数据完全分开，所以线性支持向量机这时就发挥了它的作用，它也是找到一个最优分界面，这个最优分界面允许少量的数据样本被分错，但绝大多数的样本都能够被正确分类。

假设给定特征空间上的一个训练数据集T={(x₁, y₁), (x₂, y₂), …, (x_n, y_n)}, x_i∈Rⁿ, y_i∈{-1, +1}, i=1, 2, …, N。因为数据集T不是完全线性可分的，所以存在(x_i, y_i)使得函数间隔y_i(w·x_i+b)>=1不满足，为了解决这个问题可以给每个数据样本点引入一个松弛变量ξ_i（ξ_i>=0），使得函数间隔加上松弛变量后满足大于等于1。这样一来约束条件就变成了：y_i(w·x_i+b) >= 1-ξ_i。