正交性

空间

空间是一个集合

欧几里得空间：有序实数元组的集合（x, y …）

二维：R² （R：实数集，2：每个元组包含两个元素）

（点集、起点为原点的向量集合）

-> 向量空间：空间中的元素都是向量

• 理论：

对于向量：必须定义两种运算 （加法 、 数量乘法）

这两种运算必须满足十条性质：

1. 封闭性: u + v, k · u (加法和乘法) 都封闭（closure）

2. 加法：交换律，结合律

3. 零律：存在零元O属于向量空间，使得: u + O = u

4. 对每个u存在-u使得u + (-u) = O

5. 乘法：结合律（数量），分配律（向量，数量）

6. 1 * u = u

欧几里得空间：Rⁿ 是向量空间

广义向量空间

所有 m * n 的矩阵，构成的向量空间

所有多项式，构成一个向量空间

某类函数构成的向量空间

子空间

V是向量空间，S是V的子集，且S还是向量空间，则S是V的子空间

定理：

V是向量空间，S是V的子集，且S对加法和数量乘法封闭，则S是V的子空间

封闭性：基石

向量空间的性质：

1. 对于每一个u存在-u，使得u + (-u) = O
2. 如果u属于V，k是一个实数，则ku属于V

证明：0 * u = O（不在欧几里得空间，原来的性质证明时不可用）

证明： -u = -1 * u

若S对乘法封闭：0 * u = O, 存在 O 在 S 中， -1 * u = -u 在 S中

结论：

向量空间V的子空间

1）存在O

2）$\forall \vec{u},\exists -\vec{u}$

欧几里得空间的子空间

过原点的直线是R²的子空间，但不过原点的直线不是（对加法，数量乘法不封闭）

应用：机器学习，降维（减少冗余）

维度

空间的基：一组向量

1） 生成空间

2）线性无关

维度 (dimension)：空间的基中向量的个数

dim(R²) = 2

子空间和维度

子空间维度 小于 向量中元素的个数（在原空间中的坐标表示）

生成空间的维度：找基（子集，不断删去可以被线性表示的向量）

行空间 和 矩阵的行秩

Gauss-Jordan消元法：将矩阵化为行最简，结果的每一行是原来矩阵各行的一个线性组合

假设有n个零行，则这n行对应的行向量都可表示成其他向量的线性组合，这个向量都可以删去

• 求一组向量：$\overrightarrow{v_1},\overrightarrow{v_2},...\overrightarrow{v_p}$， 其生成空间的维度是多少？

将这一组向量，按行排列成一个矩阵，执行Gauss-Jordan消元法（化为RREF），非零行的个数即为其生成空间的维度

矩阵行向量生成的空间：行空间（Row Space）

列向量生成的空间，列空间（Column Space）

矩阵的行秩（Row Rank）：矩阵行最简形式的非零行数量，即行空间的维度

• 如何求出行空间的一组基？

行最简形式中的非零行的行向量就是行空间的一组基

列空间

$A_{n\ast n}=(\overrightarrow{{\alpha }_1},\overrightarrow{{\alpha }_2}...{\alpha }_n$