Jacobian矩阵定义：(函数的所有偏导数)
如果我们有一个函数 f : R m → R n f: \mathbb{R}^m\rightarrow \mathbb{R}^n f:Rm→Rn ， f f f的Jacobian矩阵 J ∈ R n × m J\in \mathbb{R}^{n\times m} J∈Rn×m定义为 J i , i = ∂ ∂ x j f ( x ) i J_{i,i}=\frac{\partial }{\partial x_j}f(x)_i
本文介绍了深度学习基础中的关键概念——Jacobian矩阵、Hessian矩阵和Laplacian矩阵。Jacobian矩阵表示函数的偏导数，Hessian矩阵是二阶偏导，用于判断优化问题的局部极值。Hessian矩阵的条件数过大可能导致优化算法收敛缓慢。深度学习问题通常不满足凸优化条件，但可以通过Lipschitz连续性获得一定保证。Laplacian矩阵在图分析和滤波算法中有应用。
最低0.47元/天 解锁文章
扫一扫
631
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
