线性代数基础(深度学习向)--持续更新

线性代数基础

基础量

标量(Scalar)、向量(Vector)、矩阵(Matrix)、张量(Tensor)，其中张量指一个数组中的元素分布在若干维坐标的规则网络中。转置(Transpose)、在深度学习中，允许矩阵和向量相加，即C=A+b，向量b和矩阵A的每一行相加，这个简写方法使我们无须在加法操作前定义一个将向量b复制到每一行而生成的矩阵，称为广播(broadcasting)。

元素对应乘积(element-wise product)：两个向量对应元素的乘积。

矩阵的逆:

$$Ax=b$$

$$A^{-1}Ax=A^{-1}b$$

$$x=A^{-1}b$$

如果逆矩阵$A^{-1}$存在，那么$ Ax=b $ 对每一个向量b恰好存在一个解[^条件1] 但如果这里不确定A是否存在逆矩阵，如方程组，对某个向量b，可能存在一个值，无值，与无穷值的情况。

Notice: 不可能存在多于一个但非无穷解集的情况

证明: $Ax=b$ 且 $Ay=b$，此时令 $z=\alpha x+(1-\alpha y)$，则 $Az=A(\alpha x+(1-\alpha y))=\alpha Ax+Ay-\alpha Ay=b$ 。此处 $\alpha$ 可以取任意实数，故得证。

线性相关&&线性无关

对于 $A_{m\times n}$ 可视作n个列向量，若n个列向量均线性无关，则能表示n维空间，若 n <= m，则形成空间小于m维。

若令矩阵可逆，则需保证 $Ax=b$ 至多有一个解。为此需要保证矩阵至多有m个列向量（此处可以用二维向量画图辅助理解）。而且需要对每一个向量b的取值皆需要一个解，需要至少m个线性无关列向量。又根据条件1可知，若每个向量b恰好存在一个解，则矩阵列向量需要至少为m个，由此放缩可得，若矩阵可逆，则矩阵必为方阵，且各个列向量线性无关，即满秩。对于线性无关的方阵即为非奇异，存在线性相关的方阵为奇异的。