AI-理论-花书浅笔-D2线性代数

AI-理论-花书浅笔-D2线性代数

(AI算法系列)

1知识点

1. 标量、向量、矩阵、张量（广播）
2. 矩阵、向量相乘
3. 单位矩阵、逆矩阵
4. 线性相关、生成子空间
5. 范数
6. 特殊类型矩阵、向量
7. 特征分解
8. 奇异值分解
9. Moore-Penrose伪逆
10. 迹运算
11. 行列式
12. 主成分分析

2具体内容

2.1 标量、向量、矩阵、张量（广播）

• 标量scalar：单独的数
• 向量vector：一列数
• 矩阵matrix：二维数组
• 张量tensor：一个数组中的元素分布在若干维坐标的规则网络中
• 转置transpose
• 广播broadcasting：向量b与矩阵A的每一行相加，无须在加法前定义一个将向量b复制到每一行而生成的矩阵

2.2 矩阵、向量相乘

• 矩阵相乘，新矩阵

2.3 单位矩阵、逆矩阵

• 单位矩阵E
• 逆矩阵

2.4 线性相关、生成子空间

• 线性组合，每个向量乘以对应标量系数之后的和，即一组向量的生成子空间是原始向量线性组合后能抵达的点的集合
• 确定Ax=b是否有解，相当于确定向量b是否在A列向量的生成子空间（列空间/值域）
• 线性相关：列向量可能是冗余的
• 线性无关：一组向量中的任意一个向量都不能表示成其他向量的线性组合，则线性无关
• 矩阵可逆，需确保是方阵（square），m=n，所有列向量线性无关。
• 一个列向量线性相关的方阵成为奇异的singular

2.5 范数

• 衡量向量大小

• 将向量映射到非负值的函数
  

• p=2，L2范数，欧几里得范数，从原点出发到向量x确定的点的欧几里得距离（平方L2范数风方便，但在原点附近增长缓慢）

• p=1，L1范数，零与非零元素之间差异重要时使用，各个位置斜率相同同时保持简单的数学形式

2.6 特殊类型矩阵、向量

• 对角矩阵diagonal matrix，只在主对角线上含有非零元素，其余均0
• 单位矩阵，对角元素全1
• diag(v)，对角元素由向量v中元素给的的一个对角方阵
• 如果 xTy=0，那么向量 x 和向量 y 互相正交 （orthogonal）
• 标准正交（orthonormal）向量互相正交，且范数都为1

2.7 特征分解

• 特征分解eigendecomposition，将矩阵分解成一组特征向量和特征值
• 方阵A的特征向量（eigenvector）指与A相乘后相当于该向量进行缩放的非向量v：$Av=\lambda v$
• $\lambda$称为特征向量对应的特征值（eigenvalue）
• 矩阵分解（decompose）成特征值和特征向量
• 不是每一个矩阵都可以分解成特征值和特征向量
  
• Q是A的特征向量组成的正交矩阵
  • 所有特征值都是正数的矩阵称为正定 （positive definite）
  • 所有特征值都是非负数的矩阵称为半正定 （positive semidefinite）
  • 所有特征值都是负数的矩阵称为负定 （negative definite）
  • 所有特征值都是非正数的矩阵称为半负定 （negative semidefinite）

2.8 奇异值分解

• SVD：奇异值分解 singular value decomposition，将矩阵分解为奇异向量 （singular vector）和奇异值（singular value）
• 每个实数矩阵都有一个奇异值分解，但不一定都有特征分解

2.9 Moore-Penrose伪逆

2.10 迹运算

2.11 行列式

det(A)，一个将方阵A映射到实数的函数。矩阵特征值的乘积。

2.12 主成分分析

principal components analysis,PCA，有损压缩

3待补充

无

4Q&A

无

5code

无

6参考

• https://www.deeplearningbook.org/