【深度学习笔记】范数

深度学习中，范数是用来衡量向量大小的，常用来表示损失的距离等等
范数——$L^p$的定义为$$\Vert x{\Vert }_p=(\sum _i\mid x_i{\mid }^p{)}^{\frac{1}{p}}$$
其中$p\in \mathbb{R}$，$p\ge 1$。
即每一个p对应一个范数，其中较常用到的是当p=2时的范数，也称为欧几里得范数，由于较为常见，也经常省略下标2而写作 ‖x‖。L2范数的平方也可使用向量的点积来进行运算。
较常见的还有$L^{\infty }$范数，也称最大范数，表示向量中的最大值的元素的绝对值。

此外Forbenius范数常用来表示矩阵的大小。其定义为：$$\Vert A{\Vert }_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}$$