机器学习笔记——支持向量机的一些整理

最新推荐文章于 2023-05-07 20:54:38 发布

wang_zuel

最新推荐文章于 2023-05-07 20:54:38 发布

阅读量451

点赞数 1

分类专栏：机器学习笔记文章标签：支持向量机

本文链接：https://blog.csdn.net/wang_zuel/article/details/99684660

版权

机器学习笔记专栏收录该内容

8 篇文章 3 订阅

订阅专栏

本文整理了支持向量机（SVM）的学习笔记，包括入门介绍、数学原理如拉格朗日乘子法、SMO算法的详细步骤，特别是参数α的上下界和迭代中参数b的取值分析。并提供了相关资源链接以供深入学习。

摘要由CSDN通过智能技术生成

$\qquad$ 在支持向量机的学习当中碰到了一些问题，这里对支持向量机的一些内容进行了整理，内容中涉及到了一些讲解证明及原理的帖子，都是个人觉得写得挺好的，这里做一个归总，若是侵权请联系删除~~

支持向量机入门及数学原理的介绍

几个不错的帖子：

1、SVM支持向量机入门及数学原理

2、SVM解释：一、SVM的整体框架

==============================================

原理证明当中涉及的一些内容

元素、向量、矩阵对向量的求导法则

$\qquad$ 在原理证明当中涉及到了元素对向量的求导（拉格朗日乘子法的求导），元素、向量、矩阵对向量的求导法则：向量对向量求导

拉格朗日乘子法

$\qquad$ 因为在证明当中涉及到KKT条件，下面文章对拉格朗日方法进行了较为通俗的介绍：凸优化 - 4 - 凸优化、Lagrange乘子法、KKT条件，当然在上面原理介绍的文章当中也有这部分内容看，可以结合着看。

$\qquad$ 同时这里做个笔记，关于拉格朗日乘子法的理解：

深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

加入松弛变量和惩罚因子情况下的目标求解

$\qquad$ 在文章1中讲到的原理证明过程当中，第一遍未看懂其中的拉格朗日求解过程，尤其是在对向量求偏导的那部分，在参考上述向量求导的内容后，此处做个笔记：
在这里插入图片描述

=====================================================

SMO算法

$\qquad$ 文章SVM解释：五、SMO算法对SMO算法进行了详细的说明，同样下面对SMO当中的一些内容进行笔记。

参数 $\alpha_i$ 的上下界

关于上述文章当中提到的参数 $\alpha_i$ 的上下界问题，文章机器学习笔记——SMO算法参数alpha上下界做个了笔记说明。

关于迭代中的参数b取值

在上述文章的介绍中提到了迭代中参数b的取值，分为以下的几种情况：

1、 $0\le \alpha_1 \le C$ 且 $0\le \alpha_2 \le C$ 时，有 $b_{1}^{new}=b_{2}^{new}$ ，那么为什么会有这样一个等式？在算法的论述过程中我们可以得知有以下公式：

$\qquad\qquad\qquad\qquad\qquad\qquad\qquad0\le \alpha_i \le C$ 时， $y_i(w^Tx_i+b)=1$

那么同时满足 $0\le \alpha_1 \le C$ 且 $0\le \alpha_2 \le C$ 时，任意 $0\le\alpha_i \le C$ 时，满足：

$\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad y_i(w^Tx_i+b_{1}^{new})=1$
$\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad y_i(w^Tx_i+b_{2}^{new})=1$

从上述两个式子当中就可得知：
$\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad b_{1}^{new}=b_{2}^{new}$

那么当其中一个在范围内，而另一个不在范围内时，例如 $0\le \alpha_1 \le C$ ，但 $\alpha_2=C$ 时，有以下等式：
$\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad y_1(w^Tx_i+b_{1}^{new})=1$
$\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad y_2(w^Tx_i+b_{2}^{new})\le1$
这时就会发现使用 $b_{1}^{new}$ 作为迭代的结果要更加合理，因为他是通过等式求得的，所以在实际的算法编写当中会通过 $i f$ 和 $e l i f$ 来逐步判断 $\alpha_i$ 的范围是否在 $[0, C]$ 当中，然后对b进行赋值，当二者都不在范围内时，则取两者的平均数作为新的参数b。