《神经网络与深度学习》讲义1—数学基础

本文摘自邱锡鹏老师的《神经网络与深度学习》讲义

范数

矩阵的$p$范数为：

$$\lVert A \rVert = \left( \sum_{i=1}^m \sum_{j=1}^n \lvert a_{ij} \rvert^p\right)^{1/p}$$

导数

$p$维向量$\mathbf x \in \mathbb R^p$，函数$y=f(\mathbf x)=f(x_1,\cdots,x_p) \in \mathbb R$，则$y$关于$\mathbf x$的导数为

$$\nabla_x f(x) = \begin{bmatrix} {\partial f(\mathbf x)} \over {\partial x_1} \\ \vdots \\ {\partial f(\mathbf x)} \over {\partial x_p} \end{bmatrix} \in \mathbb R^p$$
对于一个 $p$维向量 $\mathbf x \in \mathbb R^p$，函数 y=f(x)=f(x1,⋯,xp)∈R