线性基学习笔记

线性基学习笔记

前言： 即西安区域赛A爆炸以后，觉得高斯消元这东西的没学好。耐下性子来读了些东西，总结如下

概述

基（basis）是线性代数中的一个概念，它是描述、刻画向量空间的基本工具。而在现行的 OI 题目中，通常在利用基在异或空间中的一些特殊性质来解决题目，而这一类题目所涉及的知识点被称作「线性基」。

预备知识

这里有一些线性代数的基本知识，以便更好的理解基的概念。

向量空间（vector space）

向量空间 - 维基百科

定义 $(F, V, +, \cdot)$ 为向量空间（vector space），其中 $F$ 为域，$V$ 为集合，$V$ 中元素称为向量，$+$ 为向量加法，$\cdot$ 为标量乘法，且运算满足 8 条公理（见维基百科）。

线性无关（linearly independent）

线性无关 - 维基百科

对于向量空间中 $V$ 上 $n$ 个元素的向量组 $(\mathbf{v}_1, \ldots, \mathbf{v}_n)$ ，存在不全为 $0$ 的数 $a_i \in F$，满足

$a_{1}\mathbf {v} _{1}+a_{2}\mathbf {v} _{2}+\ldots +a_{n}\mathbf {v} _{n} = 0$，

则称这 $n$ 个向量线性相关（linearly dependent），否则称为线性无关（linearly independent）。

线性组合（linear combination）

线性组合 - 维基百科

对于向量空间中 $V$ 上 $n$ 个元素的向量组 $(\mathbf{v}_1, \ldots, \mathbf{v}_n)$ ，其线性组合（linear combination）是如下形式的向量

$a_{1}\mathbf{v}_{1} + a_{2}\mathbf {v} _{2}+\ldots +a_{n}\mathbf {v} _{n}$ ，

其中 $a_1, \ldots, a_n \in F$。

一组向量线性无关 $\Leftrightarrow$ 没有向量可用有限个其他向量的线性组合所表示

张成（span）

对于向量空间中 $V$ 上 $n$ 个元素的向量组 $(\mathbf{v}_1, \ldots, \mathbf{v}_n)$，其所有线性组合所构成的集合称为 $(\mathbf{v}_1, \ldots, \mathbf{v}_n)$ 的张成（span），记为 $\mathrm{span}(\mathbf{v}_1, \ldots, \mathbf{v}_n)$。

基（basis）

基（线性代数）

若向量空间 $V$ 中向量组 $\mathfrak {B}$ 既是线性无关的又可以张成 $V$，则称其为 $V$ 的基（basis）。

$\mathfrak {B}$ 中的元素称为基向量。如果基中元素个数有限，就称向量空间为有限维向量空间，将元素的个数称作向量空间的维数。

性质

设 $\mathfrak {B}$ 是向量空间 $V$ 的基。则 $\mathfrak {B}$ 具有以下性质：

1. $V$ 是 $\mathfrak {B}$ 的极小生成集，就是说只有 $\mathfrak {B}$ 能张成 $V$，而它的任何真子集都不张成全部的向量空间。
2. $\mathfrak {B}$ 是 $V$ 中线性无关向量的极大集合，就是说 $\mathfrak {B}$ 在 $V$ 中是线性无关集合，而且 $V$ 中没有其他线性无关集合包含它作为真子集。
3. $V$ 中所有的向量都可以按唯一的方式表达为 $\mathfrak {B}$中向量的线性组合。

第三点尤其重要，感性的理解，基就是向量空间中的一个子集，它可以通过唯一的线性组合，来张成向量空间中所有的向量，这样就可以大大的缩小我们向量空间的大小。

线性相关性引理（Linear Dependent Lemma）

如果 $(\mathbf{v}_1, \ldots, \mathbf{v}_n)$ 在 $V$ 中是线性相关的，并且 $\mathbf{v}_1 \neq 0$，则有至少一个 $j \in \{2, \ldots, m\}$ 使得下列成立：

1. $\mathbf{v}_j \in \mathrm{span}(\mathbf{v}_1, \ldots, \mathbf{v}_{j - 1})$；
2. 如果从 $(\mathbf{v}_1, \ldots, \mathbf{v}_n)$ 去掉第 $j$ 项，则剩余向量组的张成仍然等于 $\mathrm{span}(\mathbf{v}_1, \ldots, \mathbf{v_n})$。

证明：设 $(\mathbf{v}_1, \ldots, \mathbf{v}_n)$ 在 $V$ 中是线性相关的，并且 $\mathbf{v}_1 \neq \mathbf{0}$，则有不全为 $0$ 的 $a_1, \ldots, a_n \in F$，使得

$a_1\mathbf{v}_1 + \ldots + a_m\mathbf{v}_m = \mathbf{0}$

$a_2, a_3, \ldots, a_n$ 不会全为 $0$（因为 $\mathbf{v}_1 \neq \mathbf{0}$）。设 $j$ 是 $\{2, \ldots, m\}$ 中使得 $a_j \neq 0$ 的最大者，那么

$\mathbf{v}_j = -\frac {a_1} {a_j}\mathbf{v}_1 - \ldots - \frac {a_{j - 1}} {a_j}\mathbf{v}_{j - 1}$

这就有 $(1)$ 成立。

为了证明 $(2)$，设 $\mathbf{u} \in \mathrm{span}(\mathbf{v}_1, \ldots, \mathbf{v}_n)$，则存在 $c_1, \ldots, c_n \in F$，使得

$\mathbf{u} = c_1\mathbf{v}_1 + \ldots + c_n\mathbf{v}_n$

在上面的等式中，可以用之前的等式右边来代替 $\mathbf{v}_j$。这样 $\mathbf{u}$ 包含于从 $(\mathbf{v}_0, \ldots, \mathbf{v}_n)$ 去掉第 $j$ 项的张成，因而 $(2)$ 成立。

ACM 中的线性基

异或运算下的基

求法

对于数 $a_0, a_1, \ldots, a_n$，将 $a_i$ 的二进制表示 $(b_{m}\ldots b_0)_2$ 看作一个向量 $\mathbf{a}_i = (b_m, \ldots, b_0)$，为了叙述上的方便，下文称向量 $\mathbf{a}_i$ 的第 $j$ 位为 $b_j$。

向量组 $\mathbf{a}_1, \ldots, \mathbf{a}_n$ 可以张成一个向量集合 $\mathrm{span}(\mathbf{a}_1, \ldots, \mathbf{a}_n)$，加上我们的异或运算和乘法运算（显然满足 8 条公理），即可形成一个向量空间 $V = (\{0, 1\}, \mathrm{span}(\mathbf{a}_1, \ldots, \mathbf{a}_n), \oplus, \cdot)$。

我们考虑求出向量空间 $V$ 的一个基 $\mathfrak{B}$，从 $\mathfrak{B} = (\mathbf{a}_1, \ldots, \mathbf{a}_n)$ 开始。

第 1 步：如果 $\mathbf{a}_1 = \mathbf{0}$，则从 $\mathfrak{B}$ 中去掉 $\mathbf{a_1}$，否则保持 $\mathfrak{B}$ 不变。
第 j 步：若 $\mathbf{a}_j \in \mathrm{span}(\mathbf{a}_1, \ldots, \mathbf{a}_{j - 1})$，则从 $\mathfrak{B}$ 中去掉 $\mathbf{a}_j$，否则保持 $\mathfrak{B}$ 不变。

经过 $n$ 步后终止程序，得到一个向量组 $\mathfrak{B}$。由于每一次去掉的向包含于前面诸向量的张成，到最后这个组 $\mathfrak{B}$ 仍然可以张成 $V$。而且这一程序确保了 $\mathfrak{B}$ 中的任何向量都不包含与它前面诸向量的张成，根据线性相关性引理可知 $\mathfrak{B}$ 是线性无关的。于是 $\mathfrak{B}$ 是 $V$ 的一个基。

利用高斯消元来判断向量能否被前面的向量张成，就可以写出下面的程序：

void cal() {
    for (int i = 0; i < n; ++i)
        for (int j = MAX_BASE; j >= 0; --j)
            if (a[i] >> j & 1) {
                if (b[j]) a[i] ^= b[j];
                else {
                    b[j] = a[i];
                    for (int k = j - 1; k >= 0; --k) if (b[k] && (b[j] >> k & 1)) b[j] ^= b[k];
                    for (int k = j + 1; k <= MAX_BASE; ++k) if (b[k] >> j & 1) b[k] ^= b[j];
                    break;
                }
}

这个程序实现的非常精妙，我们每次维护一个对角矩阵。执行到第 $i$ 步的时候，我们从高到低考虑数 $a_i$ 为 $1$ 的二进制位 $j$，如果 $j$ 这一行的对角线已经为 $1$ 了，那么我们不能加入，同时为了保持上三角性质，需要将第 $j$ 行的行向量异或到 $\mathbf{a}_i$ 如果 $j$ 这一行的对角线为 $0$，那么我们就可以将 $\mathbf{a}_i$ 添加到这一行，同时为了维护一个对角矩阵，要先用下面的行消自己，再用自己消上面的行。

如果一个向量 $\mathbf{a}_i$ 能被 $\mathbf{a}_1, \ldots, \mathbf{a}_{i - 1}$张成 ，它不应添加进 $\mathfrak{B}$，在高斯消元的过程中它必然是已经存在的行向量的线性组合，所以这个方程实际上是多余的，它最后一定会被异或为一个 $\mathbf{0}$。反之如果向量 $\mathbf{a}_i$ 不能被 $\mathbf{a}_1, \ldots, \mathbf{a}_{i - 1}$ 张成，那么它一定能找到某一个行添加进去。

我们来模拟下这个过程，$n = 5, a = \{7, 1, 4, 3, 5\}$。一开始矩阵是这样的：

$\begin{bmatrix} 0 & 0 & 0\\ 0 & 0 & 0\\ 0 & 0 & 0 \end{bmatrix}$

加入 $7 = (111)_2$，矩阵变为：

$\begin{bmatrix} 1 & 1 & 1\\ 0 & 0 & 0\\ 0 & 0 & 0 \end{bmatrix}$

加入 $1 = (001)_2$，添加到最后一行，同时为了维护对角矩阵，消去第一行的最低位，矩阵变为：

$\begin{bmatrix} 1 & 1 & 0\\ 0 & 0 & 0\\ 0 & 0 & 1 \end{bmatrix}$

加入 $4 = (100)_2$，由于第一行已经有数了，它被异或为 $(010)_2$，加入第二行，同时为了维护对角矩阵，消去第一行的第二位，矩阵变为：

$\begin{bmatrix} 1 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 1 \end{bmatrix}$

剩下的数都加不上了。

这样所有被选上的 $\mathbf{a}_i$ 构成一个向量空间 $V$ 的一个基 $\mathfrak{B}$。同时我们知道高斯消元最后得到的矩阵 $b$ 是 $\mathfrak{B}$ 中的向量构成的矩阵进行若干初等行变换得到的矩阵，而任意初等行变换不会影响向量之间的线性无关性，且任意初等行变换过后，这些向量仍然能够张成原有的向量空间（不难证明）。所以，所有非 $\mathbf{0}$ 的 $\mathbf{b}_i$ 仍然构成向量空间 $V$ 的一个基。

大家所称的「线性基」一般都指这个方式得到的基，因为这个基具有一个独特的性质，可以应用到 OI 题目中。所以我们一般谈论的线性基，特指高斯消元解出的对角矩阵的非零行构成的向量组。

性质

对于最后得到的矩阵，如果第 $i$ 的主对角线上为 $1$，此时我们称第 $i$ 位存在于线性基中。对于存在于线性基的二进制位，有一个重要的性质：

对于任意存在于线性基的二进制位 $i$，至多只有一个 $\mathbf{b}_j$ 满足第 $i$ 位为 $1$。

证明：高斯消元的过程中，我们维护了一个对角矩阵，如果二进制位 $i$ 存在于一个向量 $\mathbf{b}_j$上，那么 $\mathbf{b}_j$ 它一定消去了别的向量第 $i$ 位上的 $1$，故二进制位 $i$ 只存在于 $\mathbf{b}_j$ 上。

自然，对于不在线性基中的二进制位 $i$，那么第 $i$ 行主对角线下方全为 $0$，而主对角线上方就可能有若干个 $1$。

注意

上述高斯消元过程是消成了一个对角矩阵，如果消成上三角矩阵，虽然不具备这个性质，但是仍然能知道那些二进制位 i <script type="math/tex" id="MathJax-Element-156">i</script> 存在于线性基中，有时为了代码的简便，只消成上三角矩阵。下文不做区分，请自行判断。