Convergence of Newton's Method

目录

• 第1章 决策树

  • 1 基本流程
  • 2 流程核心（划分选择）
    • 2.1 信息增益
      • 2.1.1 概念
      • 2.1.2 劣势
    • 2.2 增益率
      • 2.2.1 概念
      • 2.2.2 劣势
    • 2.3 基尼指数
      • 2.3.1 概念
      • 2.3.2 使用
  • 3 优化（过拟合 属性过多）
    • 3.1 预剪枝
    • 3.2 后剪枝
    • 3.3 多变量决策树
  • 4 特殊值（连续与缺失值）
    • 4.1 连续值
    • 4.2 缺失值
  • 5 参考

• 第2章 数据预处理

  • 2.1 归一化
  • 2.2 特征二值化
  • 2.3 独热编码
  • 2.4 缺失值计算
  • 2.5 数据变换
  • 2.6 样本不均衡
  • 2.7 参考

• 第3章 特征选择

  • 3.1 特征选择简介
  • 3.2 过滤式（Filter）
    • 3.2.1 方差过滤法
    • 3.2.2 皮尔森相关系数
    • 3.2.3 互信息和最大信息系数
    • 3.2.4 信息增益
  • 3.3 包裹式（Wrapper）
    • 3.3.1 递归特征消除
    • 3.3.2 Las Vegas Wrapper
  • 3.4 嵌入式（Embedding）
    • 3.5 参考

• 第4章 梯度下降算法总览

  • 4.1 梯度下降算法
    • 4.1.1 批量梯度下降算法（BGD）
    • 4.1.2 随机梯度下降算法（SGD）
    • 4.1.3 最小批量梯度下降算法（MBGD）
  • 4.2 梯度下降算法的优化
    • 4.2.1 动量（Momentum）
    • 4.2.2 Nesterov_momentum
    • 4.2.3 AdaGrad
    • 4.2.4 Adadelta
    • 4.2.5 RMSprop
    • 4.2.6 Adam
  • 4.3 参考

• 第5章 初学牛顿法

  • 5.1 牛顿法
  • 5.2 拟牛顿法
  • 5.3 残留问题
  • 5.4 参考

• 第6章 拟牛顿法详解

  • 6.1 DFP算法
  • 6.2 BFGS算法
  • 6.3 参考

• 第7章 牛顿法收敛性

  • 7.1 图形角度
  • 7.2 理论角度
  • 7.3 参考

• 第8章 拟牛顿法中的正定性

  • 8.1 问题及解决
  • 8.2 参考

第7章 牛顿法收敛性

       续上一篇博客初学牛顿法,对牛顿法当中的一些疑问进行简单粗浅的分析及总结。
问题细化：
       牛顿法考虑二阶导数，求出海森矩阵，将一阶导除以二阶导作为新的改变量，这样收敛更快。但是一阶导除以二阶导后有可能导致一阶导变小，改变量不是变小了吗？下降不是减慢了吗？

7.1 图形角度

       以图形这个较为形象具体的形式对牛顿法收敛快进行解释。
       通俗地讲，梯度下降仅考虑当前位置坡度最大的方向，而牛顿法不仅考虑坡度够大，还要考虑走出这一步后坡度是否够大。
       上面这句话很常见也很通俗，但似乎还不够清楚，下面将结合图的形式进行更加详细具体的解析。
       在研究该问题之前首先要明白一个大前提，海森矩阵必须是正定的，那么函数的梯度在求解范围内递增，进一步可以认为函数是一个凸函数，如下图所示：

图 5-1.函数图        在上图中的两个函数在 $x>8$ 时具有相同的梯度，当 $x<8$ 时,红色曲线的收敛性将大于绿色曲线，为了早点到达极小值点，此时会选择红色曲线进行下降，这是对牛顿法将海森矩阵考虑在内的一种直观理解。        用下图来表示梯度递增的几种形式，根据牛顿法在走出一步后梯度依然够大的要求，我们会选择3曲线所代表的曲线进行梯度的下降。有图易知，当梯度较大时（距离极小值点较远时），梯度的梯度（海森矩阵）的值较小，且小于1，所以式子$x_{k+1}=x_k-\frac{g_k}{H_k}$中$x_k$的改变量不是减小而是增大，体现了牛顿法收敛快的特点。而当梯度较小时，梯度的梯度反而较大，缩小了$x_k$的改变量，从而降低了在极值点处震荡的风险。

图 5-2.梯度变化图

7.2 理论角度

       根据一些已知结论或理论对牛顿法的合理性进行简单推导。
       牛顿法中引入了二阶导数，二阶导数会影响函数图像的下降方向和大小。二阶导数在几何当中的含义为曲率，代表几何体的弯曲程度，是该段曲线形成的圆半径的倒数，所以该二阶导数的变化趋势是递增。即对式子 $x_{k+1}=x_k-\frac{g_k}{H_k}$ 中的改变量进行调整，当远离极值点时加速下降，当靠近极值点则减缓下降。

因为懒且学得渣，所以没用什么专业软件来画函数图像，而是用网站desmos来画函数图像，不是很强大但还是能满足一些简单要求的，推荐给各位看官。

7.3 参考

[1] 大饼土博.最优化问题中，牛顿法为什么比梯度下降法求解需要的迭代次数更少？
[2].desmos