【吃瓜之旅】本系列是针对datawhale《吃瓜教程-西瓜书和南瓜书》的学习笔记。本次是对西瓜书第六章的个人学习总结。本次学习的是支持向量机。首先介绍了线性可分数据的支持向量及间隔，接着引入解决支持向量机问题的对偶问题及必要的KKT条件。对于非线性可分数据对数据空间向高维映射，接着引入核函数对复杂函数简化。对于预测出错后更合理的指定损失函数，引入软间隔。在svm之上引入svr对数据进行回归。对于模型过拟合问题引入正则。最后对核函数概念进行解读补充，介绍核函数的强大之处。 dw22年8月吃瓜教程完结撒花✿✿ヽ(°▽°)ノ✿
目录
第六章：支持向量机
6.1 间隔与支持向量
支持向量机的核心就是找到对线性可分的数据集中分类最好的那个超平面。
超平面如上式，每一点到超平面的距离表示为：
正负样本到超平面的距离为：（注意，这里将y值设为1，这样就可以找到唯一的超平面表达式，否则会有无穷个）
而距离超平面最近的点使等号成立，
间隔就是r的值。为了保证分类效果最好，就要求得最大r。也就是最小化w的二范数，表述为：
6.2 对偶问题
为了得到最优的间隔，我们要对w求最小值。
要求最值问题还是优化，最简单看看能不能转为凸优化问题。
这样的多条件问题恰好可以被拉格朗日函数解决：
为了解决拉格朗日函数，引入他的对偶函数。当不好处理拉格朗日函数时，对对偶函数的解也可以解决问题。
解决这个对偶问题比较关键的是使用KKT条件
对于对偶问题，文睿老师也做出以下回答。
为了解决上式，引入SOM方法
6.3核函数
针对线性不可分的数据该怎么处理呢？书中建议将数据从低维空间映射到高维空间，如下图所示。
这样映射出的高维空间就面对另一个问题，这个对偶函数中的φ很难解。
引入核函数的概念，用k（xi，xj）代替高维函数的内积。引入核函数的定义如下：
常用核函数：
6.4 软间隔与正则化
软间隔是对于一般支持向量机而言，允许数据落到支持向量以内的空间。引入软连接是因为如果完全满足支持向量条件，会导致数据在训练中很容易出现过拟合的现象。
上式为软间隔支持向量机的损失函数，w二范数是正则项。l为损失函数。
引入松弛变量的概念，松弛变量的加入就让数据可以进入到支持向量包住的区域，同时根据介入程度进行惩罚。就是跨越边界的成对进行惩罚。
对于损失函数可以统一写成上述式子，这里讲讲左半部分的作用。
L1正则化是指权重矩阵中各个元素的绝对值之和，为了优化正则项，会减少参数的绝对值总和，所以L1正则化倾向于选择稀疏(sparse)权重矩阵（稀疏矩阵指的是很多元素都为0，只有少数元素为非零值的矩阵）。L1正则化主要用于挑选出重要的特征，并舍弃不重要的特征。
L2正则化是指权重矩阵中各个元素的平方和，为了优化正则项，会减少参数平方的总和，所以L2正则化倾向于选择值很小的权重参数（即权重衰减），主要用于防止模型过拟合。是最常用的正则化方法。一定程度上，L1也可以防止过拟合。【L1、L2正则化和过拟合 - 知乎 (zhihu.com)】写的很棒这个帖子！
6.5 支持向量回归
与支持向量机类似，但是目的在于对数据进行回归预测。引入ε空间，为允许的误差预测范围，同时也融合了软间隔的特性，对于实际值在ε区域外的情况记为损失情况。也就如下图。
这里对于软间隔相反，就是掉到ε区域外的算损失。
对于非线性回归问题，同样可以使用核函数：
6.6 核方法
与核方法的名字一样，这个方法很硬核。哈哈。先贴一下定义。对于一个单调递增（正则化函数）+非负损失函数的优化问题都可以用核函数解析。
让我们看看如何用核方法推导：
主要是针对类间和类内的区别展开求得最大J
通过核函数解这两个散度矩阵
通过核函数带入求解得到maxJ的α最后得到投影函数。对于核函数大家关注的多为怎么应用，其实背后的推到对解决这种升维问题很好用。后面学过优化论再好好推一下核函数的问题，还有上面的拉格朗日对偶问题。
18天的学习在本次打卡后就结束了，不过后面会坚持完成打卡，学完本书。感谢助教文睿老师，感谢datawhale社区，感谢爱学习的队每个小伙伴互相支持。本次学习完结撒花。
287
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
