AI圣经-深度学习-读书笔记（二）-线性代数

线性代数

线性代数主要是面向连续数学。

标量：一个标量就是一个单独的数。

向量：一个向量就是一列数。我们可以把向量看成空间中的点，每个元素是不同坐标轴上的坐标。

矩阵：矩阵是一个二维数组，其中每个元素由两个索引所确定。

张量：一个数组中的元素分布在若干维坐标中的规则网络。

元素对应相乘：$A\cdot B$

点积：$C=AB$，矩阵乘法

范数：衡量你一个向量的大小。范数是向量映射到非负值的函数。

范数满足一下几条性质：

① $f(x)=0=>x=0$；

② $f(x+y)⩽f(x)+f(y)$（三角不等式）

③ $\forall \alpha \in \mathbb{R},f(\alpha x)=|\alpha |f(x)$

$L^2$范数称为欧几里得范数，在机器学习中出现的非常频繁。平方$L^2$范数经常用来衡量向量的大小，可以简单的通过点积$x^{T}x$计算。

平方$L^2$范数在数学上和计算上都比$L^2$范数本身更方便，但是平方$L^2$范数在原点附近增长的非常缓慢。

当机器学习中零和非零元素之间的差异非常重要时，通常会使用$L^1$范数。

有时候，我们会统计向量中非零元素的个数来衡量向量的大小。

$Frobenius$范数，简称$F$-范数，可以衡量矩阵的大小。在深度学习中，经常可以看到。其类似于向量的$L^2$范数。

$$||A|{|}_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}$$