17、数据分析--支持向量机

支持向量机是处理回归问题的可泛化性能最好的，解决过拟合，机器学习中算法精度也是最高的

相关数学知识

​ 梯度下降

​ 梯度下降法(Gradient Descent， GD)常用于求解无约束（不跟其他的位置比最近，而是只自己比什么时候数值最小）情况下凸函数(Convex Function)的极小 值，是一种迭代类型的算法，因为凸函数只有一个极值点，故求解出来的极小值点就是函数的最小 值点

​ 最优化问题一般是指对于某一个函数而言，求解在其指定作用域上的全局最小值问题，一般分为以 下三种情况(备注：以下几种方式求出来的解都有可能是局部极小值，只有当函数是凸函数的时候， 才可以得到全局最小值) ：

​ 无约束问题：求解方式一般求解方式梯度下降法

​ 等式约束条件：求解方式一般为拉格朗日乘子法

​ 不等式约束条件：求解方式一般为KKT条件（比拉格朗日乘子法的条件要多些）

​ 拉格朗日乘子法

​ 拉格朗日乘子法就是当我们的优化函数存在等值约束的情况下的一种最优化求解方式；其中参数α 被称为拉格朗日乘子，要求α不等于0（如画一个圆相切两弧线时的距离圆心最近的点，圆心固定）（也可以通过弧线与圆的切线方向相同的时候得到拉格朗日乘子α，α就是圆心到弧线的最小距离）

​ 对偶问题（比如把a＞b换成b＜a的问题）

​ 在优化问题中，目标函数f(x)存在多种形式，如果目标函数和约束条件都为变量x的线性函数，则称 问题为线性规划；如果目标函数为二次函数，则称最优化问题为二