动手学习深度学习-《矩阵运算》

标量导数

常用求导：

$y$	$a$	$x^n$	$exp(x)$	$log(x)$	$sin(x)$
$\frac{dy}{dx}$	$0$	$n{x}^{n-1}$	exp(x)	$\frac{1}{x}$	$cos(x)$

求导公式：

$y$	$u+v$	$uv$	$y=f(u),u=g(x)$
$\frac{dy}{dx}$	$\frac{du}{dx}+\frac{dv}{dx}$	$\frac{du}{dx}v+\frac{dv}{dx}u$	$\frac{dy}{du}\frac{du}{dx}$

---

亚导数

将导数扩展到不可微的函数
例如：$y=|x|$
当$x=0$时，导数不存在；如下图所示：

解决办法，在导数不存在的地方人为设定一个值：

---

梯度

将导数扩展到向量：梯度指向的是值变化最大的方向

标量对向量求导：
$y$是标量，$\mathbf{x}$是列向量。下面公式采用分子布局：

$y$	$a$	$au$	$sum(x)$	$||x|{|}^2$
$\frac{\partial y}{\partial \mathbf{x}}$	$0^T$	$a\frac{\partial u}{\partial \mathbf{x}}$	$1^T$	$2{\mathbf{x}}^{\mathbf{T}}$

求导公式：

$y$	$u+v$	$uv$	$<\mathbf{u},\mathbf{v}>$
$\frac{\partial y}{\partial \mathbf{x}}$	$\frac{\partial u}{\partial \mathbf{x}}+\frac{\partial v}{\partial \mathbf{x}}$	$\frac{\partial u}{\partial \mathbf{x}}v+\frac{\partial v}{\partial \mathbf{x}}u$	${\mathbf{u}}^{\mathbf{T}}\frac{\partial y}{\partial \mathbf{x}}+{\mathbf{v}}^{\mathbf{T}}\frac{\partial u}{\partial \mathbf{x}}$

$u,v$表示与$\mathbf{x}$相关的表达式，是个标量
$<\mathbf{u},\mathbf{v}>$：表示向量内积

---

向量对标量求导：
分子布局：

---

向量对向量求导：

---

扩展到矩阵：