数据基础-最优化问题

统计机器学习求解模型参数的过程是最优化问题求解过程，有的时候求解的问题比较简单，解析解存在，直接通过公式计算即可，而有的时候解析解不存在，需要通过数值计算和启发式算法求解。

无约束优化

无约束优化问题是不带任何约束的优化问题， f(x)是x的函数 ,如下:

∇f(x)= 0的点即为该问题的解 ，如果没有解析解，可以使用梯度下降或牛顿方法等迭代算法来求解。

等式约束优化

等式约束优化问题，如下式所示：

该问题的求解方式是，引入拉格朗日乘子将上式转换为无约束优化问题，上式得拉格朗日函数为:

求解上式的方法是对上式各参数求偏导

不等式约束优化

不等式约束优化如下式所示

对应的拉格朗日函数为

约束优化一般形式

约束优化问题的一般形式如下式所示

转化为拉格朗日无约束优化问题如下式所示

上式可行解x需要满足KKT条件

拉格朗日对偶性

原始问题为 ，对偶问题为 极大极小；
假设函数f(x)和g(x)是凸函数，h(x)是仿射函数（指数最高次数为1次），并且不等式约束g(x)是严格可行的，则 分别是原始问题和对偶问题的解的充分必要条件是满足KKT条件。求解原始问题可以转化为求解其对偶问题。