【深度学习之一】数学基础

范数

在机器学习中经常使用范数来衡量一个向量的大小，定义如下：

其中$p\in R,p \geq1$，对于任何的函数$f$,满足：

（1）$f(x)=0 \Rightarrow x=0$

（2）$f(x+y) \leq f(x) +f(y)$

（3）$\forall \alpha \in R,f(\alpha x) = \mid \alpha \mid f(x)$

p=1表示L1范数，p=2为$L^2$范数，也叫欧拉范数，$||x||^∞ =max |x_i|$,为无穷范数，取矩阵一行中的最大绝对值。

有时候需要衡量一个矩阵的大小，可以使用Frobenius 矩阵。定义如下：

未完待续