【深入浅出深度学习】3、线性代数基础

一、标量、向量、矩阵、张量

1. 标量（scalar）
   一个数值，最小的计算单元
2. 向量（vector）
   由多个标量组成的一维数组
3. 矩阵（matrix）
   由标量数据构成的二维数组
4. 张量（tensor）
   深度学习领域，很多时候数据都是高于二维的，所以需要一种能够表示任意维度的数据类型——张量。

二、向量范数

衡量向量大小的一种度量方式，几何意义上是度量从原点到点x的距离。范数是正则化的主要手段，用来衡量模型的复杂度。

1. 0范数——表示向量中非0元素的个数
2. 1范数——绝对值范数，表示向量中所有元素的绝对值之和。
3. 2范数——欧几里得范数，也就是通常意义上的模值。
4. 范数——向量中每个元素绝对值的最大值