机器学习中优化模型预算法（一）最优化问题

一、最优化问题

1.无约束优化

     1.1 必要条件

          一阶必要条件：梯度为0
          二阶必要条件：二阶hessian矩阵半正定

     1.2步长的搜索方法

          设当前位置$x^k$，搜索方向为$d^k$，搜索步长$a$，$x^{k+1}=x^k+a{d}^k$.
         1.精确一维线性搜索：计算关于a的多项式取最小值的时候的a值：

          2.非精确线性搜索准则精确搜索需要的计算量大，在计算准确度和计算量之间取得一个平
           衡，就是非线性搜索，满足 $f(x^k+a{d}^k)<f(x^k)$即可。
          3.其他分割方法，如0.618分割。

2.约束优化

     2.1最速下降法

         函数做一阶展开

     2.2牛顿法

         函数做二阶展开

     2.3共轭梯度法

     2.4拟牛顿法