深度学习笔记(2):1.12 梯度的数值逼近 | 1.13 梯度检验 | 1.14 梯度检验实施小tip

这篇博客探讨了深度学习中确保反向传播正确性的方法,包括使用数值逼近来检验梯度以及梯度检验的实践技巧。1.12节介绍了如何通过数值逼近求导,1.13节阐述了梯度检验的重要性,1.14节分享了实施梯度检验时的实用建议。
摘要由CSDN通过智能技术生成

        这三小节实质上是在讲如何确保back prop正确实施,即进行back prop时,对参数求导过程是否准确。首先‘1.12 梯度的数值逼近’讲通过怎样的方法,我们可以得到对求导结果一个很好的逼近;‘1.13 梯度检验’告诉我们有了1.12中提出的方法,我们可以使用这个方法去检验参数求导过程是否准确,即检验back prop是否正确实施;‘1.14 梯度检验小tip’则是告诉我们在实际情况中使用梯度检验时的一些经验和点子。

1.12   梯度的数值逼近

首先介绍通过怎样的方法,我们可以得到对求导结果一个很好的逼近。如下图所示:

其实学过微积分的我们都知道,对于可导的函数,要求函数在某点的导数时,我们可以利用求导公式直接对函数求导,得到导数公式之后带入该点坐标即可得到函数在该点的导数值,除此之外,我们还可以利用导数的定义去求解函数在某一点的导数值。其实这里梯度检验的思想就是利用这两种求导思想去检验求导过程是否准确。

为了介绍这个逼近的方法,这里举个例子,如上图所示,假设我们的函数是F(x)=x^3(x等同于图中theta,便于打字),函数图像如上图左下角所示。采用直接求导的方法,我们利用微积分的知识,可以得到其一阶导为3x^2,且函数在x=1处的导数为3,那如果不求导,而是使用一种逼近方法呢?

如上图所示,我们在x=1附近找一个距离1很近的点,比如1.01&#x

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值