AI-理论-花书浅笔-D2线性代数
(AI算法系列)
文章目录
1知识点
- 标量、向量、矩阵、张量(广播)
- 矩阵、向量相乘
- 单位矩阵、逆矩阵
- 线性相关、生成子空间
- 范数
- 特殊类型矩阵、向量
- 特征分解
- 奇异值分解
- Moore-Penrose伪逆
- 迹运算
- 行列式
- 主成分分析
2具体内容
2.1 标量、向量、矩阵、张量(广播)
- 标量scalar:单独的数
- 向量vector:一列数
- 矩阵matrix:二维数组
- 张量tensor:一个数组中的元素分布在若干维坐标的规则网络中
- 转置transpose
- 广播broadcasting:向量b与矩阵A的每一行相加,无须在加法前定义一个将向量b复制到每一行而生成的矩阵
2.2 矩阵、向量相乘
- 矩阵相乘,新矩阵
2.3 单位矩阵、逆矩阵
- 单位矩阵E
- 逆矩阵
2.4 线性相关、生成子空间
- 线性组合,每个向量乘以对应标量系数之后的和,即一组向量的生成子空间是原始向量线性组合后能抵达的点的集合
- 确定Ax=b是否有解,相当于确定向量b是否在A列向量的生成子空间(列空间/值域)
- 线性相关:列向量可能是冗余的
- 线性无关:一组向量中的任意一个向量都不能表示成其他向量的线性组合,则线性无关
- 矩阵可逆,需确保是方阵(square),m=n,所有列向量线性无关。
- 一个列向量线性相关的方阵成为奇异的singular
2.5 范数
-
衡量向量大小
-
将向量映射到非负值的函数
-
p=2,L2范数,欧几里得范数,从原点出发到向量x确定的点的欧几里得距离(平方L2范数风方便,但在原点附近增长缓慢)
-
p=1,L1范数,零与非零元素之间差异重要时使用,各个位置斜率相同同时保持简单的数学形式
2.6 特殊类型矩阵、向量
- 对角矩阵diagonal matrix,只在主对角线上含有非零元素,其余均0
- 单位矩阵,对角元素全1
- diag(v),对角元素由向量v中元素给的的一个对角方阵
- 如果 xTy=0,那么向量 x 和向量 y 互相正交 (orthogonal)
- 标准正交(orthonormal)向量互相正交,且范数都为1
2.7 特征分解
- 特征分解eigendecomposition,将矩阵分解成一组特征向量和特征值
- 方阵A的特征向量(eigenvector)指与A相乘后相当于该向量进行缩放的非向量v: A v = λ v Av=\lambda v Av=λv
- λ \lambda λ称为特征向量对应的特征值(eigenvalue)
- 矩阵分解(decompose)成特征值和特征向量
- 不是每一个矩阵都可以分解成特征值和特征向量
- Q是A的特征向量组成的正交矩阵
- 所有特征值都是正数的矩阵称为正定 (positive definite)
- 所有特征值都是非负数的矩阵称为半正定 (positive semidefinite)
- 所有特征值都是负数的矩阵称为负定 (negative definite)
- 所有特征值都是非正数的矩阵称为半负定 (negative semidefinite)
2.8 奇异值分解
- SVD:奇异值分解 singular value decomposition,将矩阵分解为奇异向量 (singular vector)和奇异值(singular value)
- 每个实数矩阵都有一个奇异值分解,但不一定都有特征分解
2.9 Moore-Penrose伪逆
2.10 迹运算
2.11 行列式
det(A),一个将方阵A映射到实数的函数。矩阵特征值的乘积。
2.12 主成分分析
principal components analysis,PCA,有损压缩
3待补充
无
4Q&A
无
5code
无
6参考
- https://www.deeplearningbook.org/