【数学】梯度下降,牛顿法与拟牛顿法

这三个优化算法,实在是太过经典,以至于很多文章都在说这个算法。这里主要就写一写我自己的感悟吧。剩下的再集成一下别的感觉比较好的博客中的方法。

梯度下降

f(x)一阶泰勒展开:

f(x)=f(x0)+(xx0)f(x0)

f(x)=f(x0)+Δxf(x0)

如果当前处于x0节点,要使得前进同样的距离使得f(x)变的最小,则Δx=δf(x)
f(x)=f(x0)δf2(x0)

新的f(x)能够取得下一步的最小值
这也是梯度下降算法为什么沿着梯度进行下降能够取得最小值的证明。
用梯度下降法,每次 xn=xn1δf(x)
在多元函数中:
xn=xn1δf(x)

牛顿法

f(x)二阶泰勒展开:

f(x)=f(x0)+Δxf(x0)+12Δx2f′′(x0)

因为要使得f(x)取得最小值,则f(x)在最小值点必为0,将上式两边同时求导得到【其实直接对f(x)进行一阶泰勒展开也可以】
f(x)=f(x0)+Δxf′′(x0)

f(x)=0得到
f(x0)+Δxf′′(x0)=0

Δx=f(x0)f′′(x0)

所以用牛顿法,每次取得xn=xn1f(x0)f′′(x0)
在多元函数中

xn=xn1(2f(x0))1f(x0)

其中2f(x0)就是f(x0)的海森矩阵【二阶梯度矩阵】

其实,牛顿法在数值分析里面,是用来求解f(x)=0 的解的问题的,相较于二分法求值的一阶收敛速度,牛顿法是一个二阶收敛速度。
用牛顿法求解f(x)=0 的问题的时候,只用一阶导数就好
不过在最优化问题中,需要求解的是最值点,所以找的是其f(x)=0的点,所以就用到了二阶导数。

拟牛顿法

拟牛顿法直接看下面参考文献吧
大体思路上来说用牛顿法需要计算Hessian矩阵的逆矩阵,运算复杂度太高(O(n3)级别的)。因此,很多牛顿算法的变形出现了,这类变形统称拟牛顿算法。
BFGS是用迭代法去近似计算海森矩阵。
而BFGS需要额外储存近似的那个海森矩阵,这时L-BFGS就出现了,它每次是计算出要计算近似海森矩阵就好。详细的看下面的参考文献吧。

参考文献

Jacobian矩阵和Hessian矩阵
【原创】牛顿法和拟牛顿法 – BFGS, L-BFGS, OWL-QN

展开阅读全文

Git 实用技巧

11-24
这几年越来越多的开发团队使用了Git,掌握Git的使用已经越来越重要,已经是一个开发者必备的一项技能;但很多人在刚开始学习Git的时候会遇到很多疑问,比如之前使用过SVN的开发者想不通Git提交代码为什么需要先commit然后再去push,而不是一条命令一次性搞定; 更多的开发者对Git已经入门,不过在遇到一些代码冲突、需要恢复Git代码时候就不知所措,这个时候哪些对 Git掌握得比较好的少数人,就像团队中的神一样,在队友遇到 Git 相关的问题的时候用各种流利的操作来帮助队友于水火。 我去年刚加入新团队,发现一些同事对Git的常规操作没太大问题,但对Git的理解还是比较生疏,比如说分支和分支之间的关联关系、合并代码时候的冲突解决、提交代码前未拉取新代码导致冲突问题的处理等,我在协助处理这些问题的时候也记录各种问题的解决办法,希望整理后通过教程帮助到更多对Git操作进阶的开发者。 本期教程学习方法分为“掌握基础——稳步进阶——熟悉协作”三个层次。从掌握基础的 Git的推送和拉取开始,以案例进行演示,分析每一个步骤的操作方式和原理,从理解Git 工具的操作到学会代码存储结构、演示不同场景下Git遇到问题的不同处理方案。循序渐进让同学们掌握Git工具在团队协作中的整体协作流程。 在教程中会通过大量案例进行分析,案例会模在工作中遇到的问题,从最基础的代码提交和拉取、代码冲突解决、代码仓库的数据维护、Git服务端搭建等。为了让同学们容易理解,对Git简单易懂,文章中详细记录了详细的操作步骤,提供大量演示截图和解析。在教程的最后部分,会从提升团队整体效率的角度对Git工具进行讲解,包括规范操作、Gitlab的搭建、钩子事件的应用等。 为了让同学们可以利用碎片化时间来灵活学习,在教程文章中大程度降低了上下文的依赖,让大家可以在工作之余进行学习与实战,并同时掌握里面涉及的Git不常见操作的相关知识,理解Git工具在工作遇到的问题解决思路和方法,相信一定会对大家的前端技能进阶大有帮助。
©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值