最优化算法基础

• 一、问题定义
• 二、代数方法求解
• 三、迭代优化方法求解
  • 3.1 梯度方法
    • 3.1.1 随机梯度下降
    • 3.1.2 Momentum
    • 3.1.3 Adagrad
    • 3.1.4 Rmsprop
    • 3.1.5 Adam
  • 3.2 牛顿方法
    • 3.2.1 牛顿法
    • 3.2.2 修正牛顿法
    • 3.2.3 拟牛顿法 - DEP
    • 3.2.4 拟牛顿法 - BFGS
    • 3.2.5 拟牛顿法 - L-BFGS
    • 3.2.6 OWL-QN
  • 3.3 坐标下降法

一、问题定义

空间有两个点：， 求过两个点的直线。

假设直线为：

目的：求解和

二、代数方法求解

     可写成：

可以求解得：

直线为：

三、迭代优化方法求解

可以通过随机初始化一组和，然后通过某种优化算法迭代求解

设初始化系数为：

定义误差函数：

可以通过寻找使误差最小的一组来求解

3.1 梯度方法

参数在误差函数的负梯度方向进行迭代更新。包括原始的随机梯度下降法以及一些改进方法，如Momentum、Adagrad、Rmsprop、Adam等。

各种方法迭代速度对比

3.1.1 随机梯度下降

初始值在，需要通过某种方式找到最优化

随机梯度法是从开始，每次向负梯度方向做一次更新，更新的速率设为

梯度计算：

参数更新方式为：