支持向量机(Support Vector Machine SVM)_支持向量机摘要-CSDN博客

本文链接：https://blog.csdn.net/xd15010130025/article/details/108112216

1.摘要

这篇文章主要介绍支持向量机的有关内容，主要包括支持向量机的推导，支持向量机的特性，支持向量机简单的数学原理介绍，核函数，最后还对比了一下逻辑回归，支持向量机，神经网络，简单说明他们各自的适用情况。

关键词：支持向量机，核函数。

2.正文

2.1支持向量机的引入推导

支持向量机是一种强大的拟合非线性方程的工具，首先介绍一下它的引入。
由前面学习，我们可以知道，对于逻辑回归的一组样本，我们有代价函数： $J(\theta)=-ylog\frac{1}{1+e^{\theta^Tx}}-(1-y)log(1-\frac{1}{1+e^{\theta^Tx}})$ 但是 $log\frac{1}{1+e^{\theta^Tx}}$ 这一项太复杂了，我们要想办法简化它，使代价函数计算起来方便一点。对代价函数做如下近似：

图1 逻辑回归代价函数的近似

将原来的曲线用两段折线来近似。对 $y = 1$ ,即 $J(\theta)=-log\frac{1}{1+e^{\theta^Tx}}$ ,用图1左边的两个线段来近似，称为对于 $y = 0$ ,即 $J(\theta)=-log(1-\frac{1}{1+e^{\theta^Tx}})$ 时，用图1右边的线段来近似
所以，对于支持向量机(SVM)的代价函数，我们可以做如下修改：

图2 支持向量机的代价函数

对比逻辑回归函数，做了一下变化：首先去掉了 $\frac{1}{m}$ ,接着用 $cost_1(\theta^Tx^{(i)})$ 替代 $-log\frac{1}{1+e^{\theta^Tx}}$ ,用 $cost_0(\theta^Tx^{(i)})$ 替代 $-log(1-\frac{1}{1+e^{\theta^Tx}})$ ,最后，因为我们要将SVM的代价函数写为 $C A + B$ 的形式，所以最后可得SVM的代价函数为 $min_{\theta}C\sum_{i=1}^{m}[y^{(i)}cost_1(\theta^Tx^{(i)})+(1-y^{(i)})cost_0(\theta^Tx^{(i)})]+\frac{1}{2}\sum_{i=1}^n\theta_j^2$
特别的，对于SVM的假设函数，有 $h(\theta)=\begin{cases} 1& \theta^Tx>=0 \\ 0& \theta^Tx<0 \end{cases}$