机器学习中的数学-02-Taylor展式与拟牛顿

目录

Taylor展式

• 计算函数值
• 解释gini系数
• 平方根公式

牛顿法

• 梯度下降算法
• 拟牛顿法
  – DFP
  – BFGS

一 Taylor 公式-Maclaurin公式

泰勒展开式可以在任意一点展开，即第一个式子。当在x=0处展开时称为maclaurin（麦克劳林）公式，即第二个式子。



第三步的约等于号变成等于号是为了方便计算。对于最后一步就会产生一个迭代公式，每次将x带回等式右边就会得到一个新的x值，当|x(i)-x(i-1)|的值足够小时就认为得到了近似解。这个也就是牛顿迭代公式。

二 牛顿法

上述的目标函数/损失函数为最小二乘法。当式子中负号改为正号时也就变成了梯度上升算法。α后面的式子即为梯度方向式子。


本质上梯度下降算法是用一次函数做近似（红线），牛顿法用二次函数做近似（虚线并为抛物线）。

牛顿法在某些场景有其独特的优势，但是缺点也是很明显的。在实际应用中也需要有一些改进。


第四步漏了一个Hi

a，b为标量，v，u是向量。vvT和uuT是一个秩很小的矩阵。最开始的C0可以用单位矩阵I来替代。这时就是退化成了梯度下降算法




BFGS如下图，跟原始梯度下降比边界是有一定变化的，而且收敛速度也更快。第一个图要10的四次方才收敛，BFGS则只要810次。

仅供个人学习所用，侵删。