深度学习——线性代数

一、标量、向量、矩阵、张量

1、标量：一个数

2、向量：一列有序数

3、矩阵：一列向量

二维数组

4、张量

多维数组

二、矩阵和向量相乘

对应行列的点积

三、单位矩阵和逆矩阵

1、单位矩阵

主对角线为元素全为1，其他元素都为0

2、逆矩阵

AB=I，B是A的逆矩阵

四、范数

衡量向量大小，将向量映射到非负值的函数

L2范数，称为欧几里得范数，表示从原点到x到欧几里得距离

L1范数，x中某个某个元素从0增加n，对应的L1范数也会增加n

五、特殊类型的矩阵和向量

1、对角矩阵

主对角线含有非零元素，其他位置都是零

对角阵的优势：乘法计算高效，求逆矩阵高效

正交矩阵：行向量和列向量是分别标准正交的方阵，逆矩阵等于转置矩阵

六、特征分解

1、特征分解：使用最广的矩阵分解之一。将矩阵分解成一组特征向量和特征值

2、A的特征向量：与A相乘后，相当于对该向量进行缩放的非零向量

3、实对称矩阵：每一个实对称矩阵，都可以分解成特征向量和特征值。特征分解并不唯一。

4、实对称矩阵的特征分解，可用于优化二次方程。

5、正定：所有特征值都是整数

     半正定：多有特征值都非负。

     负定：特征值都是负数

6、奇异值分解：将矩阵分解成一组奇异向量和奇异值

     每个实数矩阵都有一个奇异值分解，但不一定都有