深度学习之矩阵计算

Summerke123

已于 2022-11-30 16:12:33 修改

阅读量757

点赞数

文章标签：深度学习矩阵

于 2022-11-24 15:36:57 首次发布

本文链接：https://blog.csdn.net/weixin_45928316/article/details/128013992

版权

矩阵计算（求导数）

标量导数

亚导数：遇到导数不可微的函数可采用分段函数表示导数

求导是几乎所有深度学习优化算法的关键步骤

矩阵计算（求导数）

标量导数

(不是x的函数)

$x^{n}$

$e^{x}(exp(x)))$

$log_{e}x(log(x))$

$sin(x)$

$\frac{\mathrm{d} y }{\mathrm{d} x}$

$nx^{n-1}$

$e^{x}(exp(x)))$

$\frac{1}{x}$

$cos(x)$

y	u+v	uv	y=f(u),u=g(x)
$\frac{\mathrm{d} y }{\mathrm{d} x}$	$\frac{\mathrm{d} u }{\mathrm{d} x} + \frac{\mathrm{d} v }{\mathrm{d} x}$	$\frac{\mathrm{d} u }{\mathrm{d} x} v+ u\frac{\mathrm{d} v }{\mathrm{d} x}$	$\frac{\mathrm{d} y }{\mathrm{d} u}\frac{\mathrm{d} u }{\mathrm{d} x}$

亚导数：遇到导数不可微的函数可采用分段函数表示导数

一元函数中可微即可导，多元函数中可微一定可导（可微：每一个方向都是光滑的），可导不一定可微

eg.|x|

$\frac{\partial |x|}{\partial x} = \left\{\begin{matrix} 1 &if\; x> 0\\ -1& if\; x< 0\\ a& if\; x= 0,a\; \epsilon \; [-1,1] \end{matrix}\right.$

梯度

偏导数组成的向量，方向代表增长速率最快的方向，模长表示增长速率

标量x 向量x

标量y 标量向量

向量y 向量矩阵

物理意义

深度学习的应用

梯度计算

向量链式法则

标量链式法则：复合函数求导

向量链式法则：

$\frac{\partial y}{\partial \textbf{x}} = \frac{\partial y}{\partial u} \frac{\partial u}{\partial \textbf{x}}$ $\frac{\partial y}{\partial \textbf{x}} = \frac{\partial y}{\partial \mathbf{u}} \frac{\partial \mathbf{u}}{\partial \textbf{x}}$ $\frac{\partial \mathbf{y}}{\partial \textbf{x}} = \frac{\partial \mathbf{y}}{\partial \mathbf{u}} \frac{\partial \mathbf{u}}{\partial \textbf{x}}$