深度学习之线代复习
标量、向量、矩阵和张量
- 标量(scalar):一个标量就是一个单独的数。
- 向量:一个向量是一列数,这些数是有序排列的。我们可以把向量看作空间中的点,每个元素是不同坐标轴上的坐标。
- 矩阵:矩阵是一个二维数组,其中的每一个元素被两个索引(而非 一个)所确定。
- 张量(tensor):在某些情况下,我们会讨论坐标超过两维的数组。一般地,一 个数组中的元素分布在若干维坐标的规则网格中,我们称之为张量。
矩阵的向量相乘
在深度学习中, 我们也使用一些不那么常规的符号。我们允许矩阵和向量相 加,产生另一个矩阵:C = A + b,其中 C i , j C_{i,j} Ci,j = A i , j A_{i,j} Ai,j + b j b_j bj。换言之,向量 b 和矩阵 A 的每一行相加。这个简写方法使我们无需在加法操作前定义一个将向量 b 复制 到每一行而生成的矩阵。这种隐式地复制向量 b 到很多位置的方式,被称为广播。
A ⊙ B(dot product)被称为元素对应乘积(element-wise product)或者Hadamard乘积(Hadamard product)
矩阵乘积满足分配律,结合率,但不一定满足AB=BA的交换律。
单位矩阵和逆矩阵
任意 向量和单位矩阵相乘,都不会改变。我们将保持 n 维向量不变的单位矩阵记作 I n I_n In 。 形式上, I n I_n In ∈ R n × n R^{n×n} Rn×n , ∀x ∈ R n R^n Rn , I n x = x I_n x = x Inx=x.
矩阵 A 的矩阵逆(matrix inversion)记作 A − 1 A^{−1} A−1 ,其定义的矩阵满足如下条件 A − 1 A = I n A^{−1}A =I_n A−1A=In .
线性相关和生成子空间
形式上,一组向量的线性组合,是指每个向量乘以对应标量系数之后的和,即: ∑ i c i v ( i ) \sum\limits_{i}c_iv^{(i)} i∑civ(i)
一组向量的生成子空间(span)是原始向量线性组合后所能抵达的点的集合。
如果一组向量中的任意一个向量都不能表示成其他向量的线性组合, 那么这组向量称为线性无关.
假设有一个 R 2 X 2 R^{2X2} R2X2中的矩阵,它的两个列向量是相同的。那么它的列空间和它的一个列向量作为矩阵的列空间是一样的。也就是说,虽然矩阵有2列,但是它的列空间仍然只是一条线,不能涵盖整个 R 2 R^2 R2空间。也就是说这个列向量是冗余的。那么这种冗余称为线性相关。
如果一个矩阵的列空间涵盖整个 R m R^m Rm ,那么该矩阵必须包含至少一组 m 个线性无关的向量。这是式Ax=b对于每一个向量b的取值都有解的充分必要条件。
一个列向量线性相关的方阵被称为奇异的(singular)。
范数
形式上, L p L^p Lp 范数定义: ∣ ∣ x ∣ ∣ p = ( ∑ i ∣ x ∣ p ) 1 p ||x||_p={(\sum\limits_{i}|x|^p)}^\frac{1}{p} ∣∣x∣∣p=(i∑∣x∣p)p1其中 p ∈ R,p ≥ 1。
当 p = 2 时, L 2