线性代数基础
矩阵的运算:
- 加法:对位相加
- 数乘:每位都乘
- 矩阵乘法
- 方阵才有逆矩阵
矩阵求导
∂
A
x
∂
x
=
A
T
{\frac{\partial Ax}{\partial x}=A^T}
∂x∂Ax=AT
求导后为系数矩阵的转置
Hessian矩阵和Jacobian矩阵
书写规则:
- Jacobian矩阵:(一阶偏导矩阵)
行为:每个函数 f i f_i fi的变化
列为:每个变量 x j x_j xj的变化 - Hessian矩阵:(二阶偏导矩阵)
行为:每个函数的第一个偏导因子的变化 x i x_i xi
列为:每个函数的第二个偏导因子的变化 x j x_j xj
向量
运算:数乘、相加、相减和内积
投影
相关性
空间的维数和基
主要的应用
PCA、SVD等理论