SVM艰苦自学之路

机器学习实战（六）——支持向量机SVM

https://blog.csdn.net/jiaoyangwm/article/details/79579784
SVM由浅入深的详细讲解（遇到最易懂的）
https://blog.csdn.net/u012990623/article/details/40272619?utm_source=blogxgwz0
斯坦福大学CS224d基础1：线性代数回顾
https://blog.csdn.net/han_xiaoyang/article/details/51629242
机器学习算法与Python实践之（二）支持向量机（SVM）初级
https://blog.csdn.net/zouxy09/article/details/17291543
【机器学习】支持向量机SVM原理及推导 解释得比较详细
https://blog.csdn.net/u014433413/article/details/78427574
libSVM + VS2013 + C++使用介绍
https://blog.csdn.net/lhanchao/article/details/53367532

这些球叫做 「data」，把棍子 叫做 「classifier」分类器, 最大间隙trick 叫做「optimization」最优化， 拍桌子叫做「kernelling」, 那张纸叫做「hyperplane」超平面。
当数据为线性可分的时候，也就是可以用一根棍子将两种小球分开的时候，只要将棍子放在让小球距离棍子的距离最大化的位置即可，寻找该最大间隔的过程就叫做最优化。

但是一般的数据是线性不可分的，所以要将其转化到高维空间去，用一张纸将其进行分类，空间转化就是需要核函数，用于切分小球的纸就是超平面。
达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。

SVM概念

通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
在保证决策面方向不变且不会出现错分样本的情况下移动决策面，会在原来的决策面两侧找到两个极限位置（越过该位置就会产生错分现象），如虚线所示。
虚线的位置由决策面的方向和距离原决策面最近的几个样本的位置决定。而这两条平行虚线正中间的分界线就是在保持当前决策面方向不变的前提下的最优决策面。
两条虚线之间的垂直距离就是这个最优决策面对应的分类间隔。显然每一个可能把数据集正确分开的方向都有一个最优决策面（有些方向无论如何移动决策面的位置也不可能将两类样本完全分开），而不同方向的最优决策面的分类间隔通常是不同的，那个具有“最大间隔”的决策面就是SVM要寻找的最优解。
而这个真正的最优解对应的两侧虚线所穿过的样本点，就是SVM中的支持样本点，称为”支持向量”。
学习的目标是在特征空间中找到一个分离超平面，能将实例分到不同的类中。
分离超平面的方程：w⋅x+b=0
方程由法向量w和截距b决定，可以用(w,b)来表示。

超平面方程

二次规划 https://blog.csdn.net/lilong117194/article/details/78204994
SVM（1）：理清分离超平面方程和法向量
https://blog.csdn.net/Jiajing_Guo/article/details/65628378
在超平面wTx+b=0上方，我们定义为y=1,在超平面wTx+b=0下方的我们定义为y=−1。
分离超平面将特征空间划分为两部分，一部分为正类，一部分为负类；法向量指向的一侧为正类，另一侧为负类。

支持向量机原理(一) 线性支持向量机
https://www.cnblogs.com/pinard/p/6097604.html

机器学习系列(14)_SVM碎碎念part2：SVM中的向量与空间距离
https://blog.csdn.net/han_xiaoyang/article/details/52679559

函数间隔与几何间隔

1. 辨析

svm 函数间隔与几何间隔的认识 https://blog.csdn.net/maymay_/article/details/80263845
机器学习教程 之 支持向量机：模型篇1—支持向量与间隔
https://blog.csdn.net/Liangjun_Feng/article/details/78868895

在超平面w⋅x+b=0确定的情况下，|w⋅x+b|可以相对地表示点x距离超平面的远近。对于两类分类问题，如果w⋅x+b>0，则x的类别被判定为1；否则判定为-1。所以如果y(w⋅x+b)>0，则认为x的分类结果是正确的，否则是错误的。且y(w⋅x+b)的值越大，分类结果的确信度越大。反之亦然。

2. 函数间隔（function margin）

3. 几何间隔(Geometrical margin)

最大间隔分离超平面

机器学习系列(15)_SVM碎碎念part3：如何找到最优分离超平面
https://blog.csdn.net/han_xiaoyang/article/details/52683653



求最大超平面

SVM数学基础

机器学习系列(21)_SVM碎碎念part4：无约束最小化问题
https://blog.csdn.net/han_xiaoyang/article/details/79079540
局部极小值点

机器学习系列(22)_SVM碎碎念part5：凸函数与优化
https://blog.csdn.net/yaoqiang2011/article/details/79080100

更一般地，一个连续的二阶可导多元函数在凸集上为凸函数，当且仅当函数的海森矩阵半正定。
判定半正定和正定的区别在于，判定矩阵是否为半正定，需要检查所有的主子式，而不仅仅是顺序主子式 。同时，所有的主子式都必须是非负的。
凸优化问题更容易求解。为什么？
凸函数的局部极小值就是全局最小值


梯度下降的最优化算法
机器学习系列(23)_SVM碎碎念part6：对偶和拉格朗日乘子
https://blog.csdn.net/han_xiaoyang/article/details/79080123



在数学优化问题中，拉格朗日乘子法是求在等式约束下函数局部极大值和极小值的一种策略。

拉格朗日乘子法

人工智能里的数学修炼 | 约束问题的优化求解：拉格朗日乘子法、KKT条件与对偶问题
https://blog.csdn.net/liangjun_feng/article/details/78820409

拉格朗日乘子法的推广：KKT条件（一阶（最优性）条件）

KKT我的理解：
极小值点落在可行域内（不包含边界）：这个时候可行域的限制不起作用，相当于没有约束，直接f(x)的梯度等于0求解，这个时候g(x极小值点)<0（因为落在可行域内）。
极小值点落在可行域外（包含边界）：可行域的限制起作用，极小值点应该落在可行域边界上即g(x)=0，类似于等值约束，此时有g(x)的梯度和f(x)的负梯度同向。
https://www.cnblogs.com/liaohuiqiang/p/7805954.html

特别注意：优化问题是凸优化的话，KKT条件就是极小值点（而且是全局极小）存在的充要条件。

不是凸优化的话，KKT条件只是极小值点的必要条件，不是充分条件，KKT点是驻点，是可能的极值点。也就是说，就算求得的满足KKT条件的点，也不一定是极小值点，只是说极小值点一定满足KKT条件。

拉格朗日函数和KKT的完整形式

拉格朗日原问题与对偶问题

原始问题-> 广义拉格朗日函数的极小极大值问题->对偶形式（极大极小值问题）
对偶问题给出原始问题的下确界，即原始问题转化为求其对偶问题即可

1 为什么要利用对偶？

首先要明确，对偶问题的解不一定直接等于原问题的解（弱对偶），但是，对偶问题有两点性质。

1.1 满足某些条件时，对偶问题直接等于原问题的解（强对偶）
1.2 无论原始问题是否是凸的，对偶问题都是凸优化问题

显然，在某些情况下，直接对对偶问题求解可以得到原问题的解，而且对偶问题是凸优化，易于求解。所以利用对偶来求解是很有用的。

对于一般的优化问题，强对偶性通常不成立，但是，若原始问题为凸优化问题且其可行域中至少有一点使得不等式约束严格成立，则此时强对偶性成立。

搞懂SVM的三个问题，间隔，对偶问题，KKT条件
https://blog.csdn.net/u014472643/article/details/79612204?utm_source=blogxgwz9


b可利用下式为零进行求解

线性可分最大超平面的求解