深度学习的数学基础(三) 导数与梯度下降法

最新推荐文章于 2023-02-24 16:56:55 发布

xiaohua.huang

最新推荐文章于 2023-02-24 16:56:55 发布

阅读量642

点赞数

分类专栏：深度学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/hxh824/article/details/106658338

版权

深度学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

(一) 导数的定义：

设函数 y=f(x) 在点 $x_{0}$ 的某个邻域内有定义，当自变量 x 在 $x_{0}$ 处取得增量 $\Delta x$ , 相应的函数 y 取得增量 $\Delta y$ ，如果 $\Delta y$ 与 $\Delta x$ 之比在 $\Delta x$ -> 0 时存在，则称函数 y=f(x) 在在点 $x_{0}$ 处可导，并称这个极限为函数 y=f(x) 在点 $x_{0}$ 处的导数。

(二) 导数的意义：

1. 几何意义：

导数是函数在某一点处的切线斜率，如下图

当 $\Delta x$ 无穷小时，P点接近于 $P_{0}$ ，直线 T 与函数 y=f(x) 相切。

2. 物理意义：

导数是速度的变化率。速度的计算公式 v = s / t ,计算的是平均速度。有时我们需要知道瞬时的速度：

$v=(s-s_{0})/(t-t_{0})$

当 $t-t_{0}$ 接近于零时，移动了一小段距离，这段距离和 $t-t_{0}$ 之比就是瞬时速度。

(三) 导数的记法

函数 y=f(x) 的导数采用以下两种记法：

{f}' 或 $\frac{\mathrm{d}y }{\mathrm{d} x}$

在 $x_{0}$ 处的导数记作：

${f}'(x_{0})$ 或 $\frac{\mathrm{d}y }{\mathrm{d} x}|x_{0}$

(四) 导数的公式

人们为了方便使用导数，总结出了一套简单的求导公式，根据这些公式，可以容易地求解复杂函数的导数。

1. 常用的求导公式：

{C}' = 0 , $C \in R$ ,

{(nx)}' = n , $n \in R$ ,

{(sin x)}' = cos x ,

{(cos x)}' = -sin x ,

${(x^{n})}' = nx^{(n-1)}$ , $n \in R$ ,

2. 和、差、积、商的求导：

${(a\pm b)}' = {a}'\pm {b}'$ , 和差求导

{(ab)}' = {a}'b+ a{b}' , 积求导

${(\frac{b}{a})}'=\frac{{b}'a-b{a}'}{a^2}$ ，商求导

3. 链式求导法则

五) 偏导数

(六) 梯度下降法

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。