深度学习入门之数学基础概念

深度学习之线代复习

标量、向量、矩阵和张量

• 标量（scalar）：一个标量就是一个单独的数。
• 向量：一个向量是一列数，这些数是有序排列的。我们可以把向量看作空间中的点，每个元素是不同坐标轴上的坐标。
• 矩阵：矩阵是一个二维数组，其中的每一个元素被两个索引（而非 一个）所确定。
• 张量（tensor）：在某些情况下，我们会讨论坐标超过两维的数组。一般地，一 个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。

矩阵的向量相乘

在深度学习中， 我们也使用一些不那么常规的符号。我们允许矩阵和向量相 加，产生另一个矩阵：C = A + b，其中 $C_{i,j}$ = $A_{i,j}$ + $b_j$。换言之，向量 b 和矩阵 A 的每一行相加。这个简写方法使我们无需在加法操作前定义一个将向量 b 复制 到每一行而生成的矩阵。这种隐式地复制向量 b 到很多位置的方式,被称为广播。

A ⊙ B（dot product）被称为元素对应乘积（element-wise product）或者Hadamard乘积（Hadamard product）

矩阵乘积满足分配律，结合率，但不一定满足AB=BA的交换律。

单位矩阵和逆矩阵

任意 向量和单位矩阵相乘，都不会改变。我们将保持 n 维向量不变的单位矩阵记作$I_n$ 。 形式上，$I_n$ ∈ $R^{n\times n}$ ， ∀x ∈ $R^n$ , $I_{n}x=x$.

矩阵 A 的矩阵逆（matrix inversion）记作 $A^{-1}$ ，其定义的矩阵满足如下条件$A^{-1}A=I_n$ .

线性相关和生成子空间

形式上，一组向量的线性组合，是指每个向量乘以对应标量系数之后的和，即：$\sum _i{c}_i{v}^{(i)}$

一组向量的生成子空间（span）是原始向量线性组合后所能抵达的点的集合。

如果一组向量中的任意一个向量都不能表示成其他向量的线性组合， 那么这组向量称为线性无关.

假设有一个$R^{2X2}$中的矩阵，它的两个列向量是相同的。那么它的列空间和它的一个列向量作为矩阵的列空间是一样的。也就是说，虽然矩阵有2列，但是它的列空间仍然只是一条线，不能涵盖整个$R^2$空间。也就是说这个列向量是冗余的。那么这种冗余称为线性相关。

如果一个矩阵的列空间涵盖整个 $R^m$ ，那么该矩阵必须包含至少一组 m 个线性无关的向量。这是式Ax=b对于每一个向量b的取值都有解的充分必要条件。

一个列向量线性相关的方阵被称为奇异的（singular）。

范数

形式上，$L^p$ 范数定义：$||x|{|}_p={(\sum _i|x{|}^p)}^{\frac{1}{p}}$其中 p ∈ R，p ≥ 1。

当 p = 2 时， L 2