本文详细介绍了SVM（支持向量机），从最优化问题、点到超平面的距离到感知器模型。接着探讨线性可分SVM与感知器的区别，强调SVM最大化支持向量距离。接着引入软间隔模型解决异常点问题，通过拉格朗日乘子法和KKT条件推导。最后讨论非线性可分SVM，利用核函数将低维非线性数据转换为高维线性可分数据，特别提到了高斯核函数的应用和价值。
一、前导
1、最优化问题
最优化问题一般是指对于某一个函数而言，求解在其指定作用域上的全局最小值问题，一般分为以下三种情况(备注：以下几种方式求出来的解都有可能是局部极小值，只有当函数是凸函数的时候，才可以得到全局最小值)：
①无约束问题：求解方式一般求解方式梯度下降法、牛顿法、坐标轴下降法等；
②等式约束条件：求解方式一般为拉格朗日乘子法
拉格朗日乘子法求解
③不等式约束条件：求解方式一般为KKT条件
- 当可行解x在g(x)<0的区域中的时候，此时直接极小化f(x)即可得到；
- 当可行解x在g(x)=0的区域中的时候，此时直接等价于等式约束问题的求解。
KKT条件总结
1. 拉格朗日取得可行解的充要条件；
2. 将不等式约束转换后的一个约束，称为松弛互补条件；
3. 初始的约束条件；
4. 初始的约束条件；
5. 不等式约束需要满足的条件。
2、点到直线/平面的距离公式
假定点p(x0,y0)，平面方程为f(x,y)=Ax+By+C，那么点p到平面f(x)的距离为:
从三维空间扩展到多维空间中，如果存在一个超平面f(X)=θX+b; 那么某一个点X0到这个超平面的距离为:
3、感知器模型
3.1 概念
对于m个样本，每个样本n维特征以及一个二元类别输出y：
。目标是找到一个超平面，即：
。让一个类别的样本满足：
；另外一个类别的满足：
。
感知器模型为：
3.2 损失函数
正确分类的样本：
；错误分类的样本：
。假定分类错误的样本数为k，可定义损失函数为（分类错误的样本到超平面的距离之和最小）：
最低0.47元/天 解锁文章
扫一扫
642
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
