机器学习 支持向量机

感谢

https://www.bilibili.com/video/av10590361/?p=31&t=183

当模型所使用的假设函数是线性函数时：
f(x；W，b)=WX+b

（1）在使用square loss平方误差损失+L2 normalization时，就是linear regression/ridge regression （岭回归：解法：最小二乘给出解析解或梯度下降）

（2）在使用sigmoid+cross entropy交叉熵作为损失函数时，就是logistic regression（逻辑回归）

（3）在使用hinge loss合页损失作为损失函数时，就是Linear SVM（线性的支持向量机）

最原始的SVM是线性分类器，对于线性不可分的问题，将原始数据所在的特征空间映射到高维特征空间中，得到线性可分的数据。最原始的SVM（不带有核方法）只能处理线性可分的问题。对于n维特征空间，线性分类器就是n-1维的超平面，

 支持向量机中margin的概念：margin间隔，是对于某个固定参数的SVM线性分类器而言的，它指的是，将分类超平面平移一定范围内，这个范围内不能包含任何样本数据，即保证当前数据集中的样本不被分错，而超平面所能平移的最大范围。而超平面所能平移到的边界点就是支持向量（support vector）。