基础-线性代数

1、标量、向量、矩阵和张量

• 标量（scalar）：一个标量就是一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。我们用斜体表示标量。标量通常被赋予小写的变量名称。当我们介绍标量时，会明确它们是哪种类型的数。
• 向量（vector）：一个向量是一列数。这些数是有序排列的。通过次序中的索引，我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称，比如 x。向量中的元素可以通过带脚标的斜体表示。
• 矩阵（matrix）：矩阵是一个二维数组，其中的每一个元素被两个索引（而非一个）所确定。我们通常会赋予矩阵粗体的大写变量名称，比如 A。
• 张量（tensor）：在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。

转置（transpose）是矩阵的重要操作之一。矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线被称为 主对角线（main diagonal）。

2、矩阵和向量相乘

矩阵乘法是矩阵运算中最重要的操作之一。两个矩阵 A 和 B 的 矩阵乘积（matrix product）是第三个矩阵 C。为了使乘法定义良好，矩阵 A 的列数必须和矩阵 B 的行数相等。如果矩阵 A 的形状是 m × n，矩阵 B 的形状是 n × p，那么矩阵C 的形状是 m × p。我们可以通过将两个或多个矩阵并列放置以书写矩阵乘法，例如：C = AB.
两个相同维数的向量 x 和 y 的 点积（dot product）可看作是矩阵乘积 x⊤y。我们可以把矩阵乘积 C = AB 中计算 Ci,j 的步骤看作是 A 的第 i 行和 B 的第 j 列之间的点积。
矩阵乘积运算有许多有用的性质，从而使矩阵的数学分析更加方便。比如，矩阵乘积服从分配律：A(B + C) = AB + AC.
矩阵乘积也服从结合律：A(BC) = (AB)C.不同于标量乘积，矩阵乘积并不满足交换律（AB = BA 的情况并非总是满足）。

3、单位矩阵和逆矩阵

我们首先需要定义 单位矩阵（identity matrix）的概念。任意向量和单位矩阵相乘，都不会改变。我们将保持 n 维向量不变的单位矩阵记作 In。单位矩阵的结构很简单：所有沿主对角线的元素都是 1，而所有其他位置的元素都是0。
矩阵 A 的 矩阵逆（matrix inversion）记作 A悆 1，其定义的矩阵满足如下：$A^{-}1A=In$.

4 、线性相关和生成子空间

为了分析方程有多少个解，我们可以将 A 的列向量看作从 原点（origin）（元素都是零的向量）出发的不同方向，确定有多少种方法可以到达向量 b。在这个观点下，向量 x 中的每个元素表示我们应该沿着这些方向走多远，即 xi 表示我们需要沿着第 i 个向量的方向走多远。

一般而言，这种操作被称为 线性组合（linear combination）。形式上，一组向量的线性组合，是指每个向量乘以对应标量系数之后的和。一组向量的 生成子空间（span）是原始向量线性组合后所能抵达的点的集合。

确定 Ax = b 是否有解相当于确定向量 b 是否在 A 列向量的生成子空间中。这个特殊的生成子空间被称为 A 的 列空间（column space）或者 A 的 值域（range）。

为了使方程 Ax = b 对于任意向量 b ∈ Rm 都存在解，我们要求 A 的列空间构成整个 Rm。如果 Rm 中的某个点不在 A 的列空间中，那么该点对应的 b 会使得该方程没有解。矩阵 A 的列空间是整个 Rm 的要求，意味着 A 至少有 m 列，即n ≥ m。否则，A 列空间的维数会小于 m。例如，假设 A 是一个 3 × 2 的矩阵。目标 b 是 3 维的，但是 x 只有 2 维。所以无论如何修改 x 的值，也只能描绘出 R3 空间中的二维平面。当且仅当向量 b 在该二维平面中时，该方程有解。

不等式 n ≥ m 仅是方程对每一点都有解的必要条件。这不是一个充分条件，因为有些列向量可能是冗余的。假设有一R2×2 中的矩阵，它的两个列向量是相同的。那么它的列空间和它的一个列向量作为矩阵的列空间是一样的。换言之，虽然该矩阵有 2 列，但是它的列空间仍然只是一条线，不能涵盖整个 R2 空间。

正式地说，这种冗余被称为 线性相关（linear dependence）。如果一组向量中的任意一个向量都不能表示成其他向量的线性组合，那么这组向量称为 线性无关（linearly independent）。