seniusen的博客

为了完整地展示线性代数，我们必须包含复数。即使矩阵是实的，特征值和特征向量也经常会是复数。1. 虚数回顾虚数由实部和虚部组成，虚数相加时实部和实部相加，虚部和虚部相加，虚数相乘时则利用 i2=−1i^2=-1i2=−1。在虚平面，虚数 3+2i3+2i3+2i 是位于坐标 (3,2)(3, 2)(3,2) 的一个点。复数 z=a+biz=a+biz=a+bi 的共轭为 zˉ=z∗=a−bi...

1. 矩阵范数我们怎么来衡量一个矩阵的大小呢？针对一个向量，它的长度是 ∣∣x∣∣||\boldsymbol x||∣∣x∣∣。针对一个矩阵，它的范数是 ∣∣A∣∣||A||∣∣A∣∣。有时候我们会用向量的范数来替代长度这个说法，但对于矩阵我们只说范数。有很多方式来定义矩阵的范数，我们来看看所有范数的的要求然后选择其中一个。Frobenius 对矩阵中的所有元素进行平方 ∣aij∣2|a_{i...

这部分我们从有限维扩展到无限维，在无限维空间中线性代数依然有效。首先，我们来回顾一下，我们一开始是以向量、点积和线性组合进行展开的。现在我们开始将这些基本的概念转化到无限维的情况，然后再继续深入探索。一个向量有无限多的元素是什么意思呢？有两种答案，都非常好。向量变成 v=(v1,v2,v3,⋯ )\boldsymbol v=(v_1,v_2,v_3,\cdots)v=(v1​,v2​,v3​...

这一部分我们关注正的矩阵，矩阵中的每个元素都大于零。一个重要的事实：最大的特征值是正的实数，其对应的特征向量也如是。最大的特征值控制着矩阵 AAA 的乘方。假设我们用 AAA 连续乘以一个正的向量 u0=(a,1−a)\boldsymbol u_0=(a, 1-a)u0​=(a,1−a)，kkk 步后我们得到 Aku0A^k\boldsymbol u_0Aku0​，这些向量 u1,u2,u...

1. 图一个图由一系列节点以及连接它们的边组成，关联矩阵（incidence matrix）则告诉我们 nnn 个顶点是怎么被 mmm 条边连接的。关联矩阵中的每个元素都是 0,1 或者 -1，在消元过程中这也依然成立，所有的主元和乘数都是 ±1\pm1±1。因此分解 A=LUA=LUA=LU 也只包含 0,1 或者 -1，零空间矩阵亦是如此。四个基本子空间的基向量都只包含这些特别简单的元素。...

这部分我们通过选择更好的基底来产生更好的矩阵。当我们的目标是对角化矩阵时，一个选择可以是一组特征向量基底，另外一个选择可以是两组基底，输入基底和输出基底是不一样的。这些左右奇异向量是矩阵四个基本子空间中标准正交的基向量，它们来自于 SVD。事实上，所有对 AAA 的分解都可以看作是一个基的改变。在这里，我们只关注两个突出的例子，有一组基的 Λ\LambdaΛ 和有两组基的 Σ\SigmaΣ。...

1. 恒等变换现在让我们来找到这个特殊无聊的变换 T(v)=vT(\boldsymbol v)=\boldsymbol vT(v)=v 对应的矩阵。这个恒等变换什么都没有做，对应的矩阵是恒等矩阵，如果输出的基和输入的基一样的话。如果 T(vj)=vj=wjT(\boldsymbol v_j)=\boldsymbol v_j = \boldsymbol w_jT(vj​)=vj​=wj​，那么...

1. 线性变换的概念当一个矩阵 AAA 乘以一个向量 v\boldsymbol vv 时，它将 v\boldsymbol vv 变换到另一个向量 AvA\boldsymbol vAv。进来的是 v\boldsymbol vv，出去的是 T(v)=AvT( \boldsymbol v) = A\boldsymbol vT(v)=Av。一个变换 TTT 就像一个函数一样，进来一个数字 xxx，得到 ...

SVD 分解是线性代数的一大亮点。1. SVD 分解AAA 是任意的 m×nm×nm×n 矩阵，它的秩为 rrr，我们要对其进行对角化，但不是通过 S−1ASS^{-1}A SS−1AS。SSS 中的特征向量有三个大问题：它们通常不是正交的；并不总是有足够的特征向量；Ax=λxAx=\lambda xAx=λx 需要 AAA 是一个方阵。AAA 的奇异向量很好地解决了上述所有问题。代价是...

当 AAA 有足够的特征向量的时候，我们有 S−1AS=ΛS^{-1}AS=\LambdaS−1AS=Λ。在这部分，SSS 仍然是最好的选择，但现在我们允许任意可逆矩阵 MMM，矩阵 AAA 和 M−1AMM^{-1}AMM−1AM 称为相似矩阵，并且不管选择哪个 MMM，特征值都保持不变。1. 相似矩阵假设 MMM 是任意的可逆矩阵，那么 B=M−1AMB = M^{-1}AMB=M−...

这部分我们关注有正特征值的对称矩阵。如果对称性使得一个矩阵重要，那么所有特征值大于零这个额外属性则让这个矩阵真正特殊。但我们这里的特殊并不是稀少，事实上在各种应用中具有正特征值的对称矩阵非常常见，它们被称作正定矩阵。我们可以通过检查特征值是否大于零来识别正定矩阵，但计算特征值是一项工作，当我们真正需要它们的时候我们可以进行计算，而如果我们仅仅想知道它们是否是正的，我们有更快的方式。1. 正...

小森在公交站等车，有三路公交车均可乘坐到达目的地。A 公交车到站的时间为 0 到 10 分钟内的任一时间点，且服从 [0, 10] 的均匀分布。同样地，B 公交车到站的时间为 0 到 20 分钟内的任一时间点，C 公交车到站的时间为 0 到 30 分钟内的任一时间点。求问小森的平均等车时间？1. 只有两辆公交车的情况三辆公交车分析起来比较复杂，我们可以试着先考虑只有两辆公交车的情况，弄明白...

线性方程 Ax=bAx=bAx=b 是稳定状态的问题，特征值在动态问题中有着巨大的重要性。du/dt=Audu/dt=Audu/dt=Au 的解随着时间增长、衰减或者震荡，是不能通过消元来求解的。接下来，我们进入线性代数一个新的部分，基于 Ax=λxAx=\lambda xAx=λx，我们要讨论的所有矩阵都是方阵。1. 特征值和特征向量几乎所有的向量在乘以矩阵 AAA 后都会改变方向，某些特殊...

1. 克拉默法则这部分我们通过代数方法来求解 Ax=bAx=bAx=b。用 xxx 替换单位矩阵的第一列，然后再乘以 AAA，我们得到一个第一列为 bbb 的矩阵，而其余列则是从矩阵 AAA 中对应列直接拷贝过来的。利用行列式的乘法法则，我们有∣A∣(x1)=∣B1∣|A|(x_1)=|B_1|∣A∣(x1​)=∣B1​∣如果我们想要求 x2x_2x2​，那么将 xxx 放在单位矩阵的...

计算机通过主元来计算行列式，但还有另外两种方法，一种是大公式，由 n!n!n! 项置换矩阵组成；另一种是代数余子式公式。主元的乘积为 2∗32∗43∗54=52 * \frac{3}{2}* \frac{4}{3}* \frac{5}{4} = 52∗23​∗34​∗45​=5。大公式有 4!=244!=244!=24 项，但只有 5 个非零项。detA=16−4−4−4+1=...

方阵的行列式是一个数字，这个数字包含了矩阵的大量信息。首先，它立即告诉了我们这个矩阵是否可逆。矩阵的行列式为零的话，矩阵就没有逆矩阵。当 AAA 可逆的时候，其逆矩阵 A−1A^{-1}A−1 的行列式为 1/det(A)1 / det(A)1/det(A)。行列式可以用来求逆矩阵、计算主元和求解方程组，但是我们很少这样做，因为消元会更快。对于上述矩阵，如果行列式 ad−bcad-bcad−...

这部分我们有两个目标。一是了解正交性是怎么让 x^\hat xx^ 、ppp 、PPP 的计算变得简单的，这种情况下，ATAA^TAATA 将会是一个对角矩阵。二是学会怎么从原始向量中构建出正交向量。1. 标准正交基向量 q1,⋯ ,qnq_1, \cdots, q_nq1​,⋯,qn​ 是标准正交的，如果它们满足如下条件：qiTqj={0，if i...

1. 矩阵的秩mmm 和 nnn 给出了矩阵的大小，但却不是线性方程组的真正大小。因为，一个 0=00=00=0 的方程实际上是不算的。如果 AAA 中有完全相等的两行，或者第三行是第一行和第二行的线性组合，那么消元过程中就会出现全零的行。线性方程组的真正大小由秩来确定。矩阵的秩是主元的个数，称为 rrr。A=[112412251326]A = \begin{bmatrix} 1&amp...

1. 二维向量在二维平面中，一个二维向量可以用一个箭头来表示，这个箭头起始于原点，终点坐标 (x,y)(x, y)(x,y) 分别为向量中的两个元素，而 cvc\boldsymbol{v}cv 与 dwd\boldsymbol{w}dw 的和则是向量 v\boldsymbol{v}v 和 w\boldsymbol{w}w的线性组合。2. 三维向量三维向量和二维向量类似，可以表示为三维平面中...

1. 向量空间和子空间向量空间 Rn\boldsymbol R^nRn 由所有的 nnn 维向量 vvv 组成，向量中的每个元素都是实数。向量空间 R2\boldsymbol R^2R2 可以用 xyxyxy 平面来表示，其中的每个向量有两个元素，它们定义了平面上一个点的坐标。在一个向量空间中，如果我们将任意向量相加或者乘以一个标量，也就是任意向量的线性组合，它们的结果仍然在这个向量空间中...

1. 正交子空间两个向量垂直，意味着 vTw=0v^Tw=0vTw=0。两个子空间 V\boldsymbol VV 和 W\boldsymbol WW 是正交的，如果V\boldsymbol VV 中的每个向量 vvv 都垂直于 W\boldsymbol WW 中的每个向量 www。想象你处在一个房间里，那么地面是一个子空间 V\boldsymbol VV，两面墙的交线是另一个子空间 W...

1. 投影向量 $ b = (2, 3, 4)$ 在 zzz 轴上和在 xyxyxy 平面上的投影是什么，哪个矩阵能产生到一条线上和到一个平面的投影？当 bbb 被投影到 zzz 轴上时，它的投影 ppp 就是 bbb 沿着那条线的部分。当 bbb 被投影到一个平面时，它的投影就是 bbb 在平面中的部分。到 zzz 轴上的投影 p1=(0,0,4)p_1 = (0, 0, 4)p1​=...

1. 线性方程组的几何解释线性代数的中心问题就是解决一个方程组，这些方程都是线性的，也就是未知数都是乘以一个数字的。x − 2y = 13x + 2y = 11\begin{alignedat}{2} &x \space- \space&2&y \space=\...

1. 消元的思想针对下面的方程，我们无法直接得到方程的解。x − 2y = 13x + 2y =&am

1. 矩阵乘法如果矩阵 BBB 的列为 b1,b2,b3b_1, b_2, b_3b1​,b2​,b3​，那么 EBEBEB 的列就是 Eb1,Eb2,Eb3Eb_1, Eb_2, Eb_3Eb1​,Eb2​,Eb3​。EB=E[b1b2b3]=[Eb1Eb2Eb3]\boldsymbol{EB = E[b_1 \quad b_2 \quad b_3] = [Eb_1 \quad Eb_2 \...

1. 线性相关性矩阵 AAA 的列是线性不相关的当且仅当 Ax=0Ax=\boldsymbol0Ax=0 的唯一解是 x=0x=\boldsymbol0x=0。没有其它的线性组合能给出零向量。在三维空间中，如果三个向量 v1,v2,v3v_1, v_2, v_3v1​,v2​,v3​ 不在同一个平面中，那它们就是不相关的，只有 0v1+0v2+0v30v_1+0v_2+0v_30v1​+0...

1. 四个基本子空间行空间 C(AT)C(A^T)C(AT)，一个 RnR^nRn 的子空间，由所有行的线性组合构成，维数为 rrr列空间 C(A)C(A)C(A)，一个 RmR^mRm 的子空间，由所有列的线性组合构成，维数为 rrr零空间 N(A)N(A)N(A)，一个 RnR^nRn 的子空间，由所有 Ax=0Ax=0Ax=0 的解的线性组合构成，维数为 n−rn-rn−r左零空间...

1. 最小二乘Ax=bAx=bAx=b 经常会没有解，当方程个数大于未知数个数，也即 m>nm>nm>n 时，列空间并不是 RmR^mRm 空间的全部，因此 bbb 可能不在列空间中，这时候方程组就无解，但我们不应该就此而停止。也就是误差 e=b−Axe = b-Axe=b−Ax 并不总是能得到 0，这时候，如果误差 eee 的长度尽可能的小，那我们就得到了最...

利用特征向量的属性，矩阵 AAA 可以变成一个对角化矩阵 Λ\LambdaΛ。1. 对角化假设一个 n×nn×nn×n 的矩阵 AAA 有 nnn 个线性不相关的特征向量 x1,⋯ ,xnx_1,\cdots,x_nx1​,⋯,xn​ ，把它们作为特征向量矩阵 SSS 的列，那么就有 S−1AS=ΛS^{-1}AS=\LambdaS−1AS=Λ。矩阵 AAA...

本节的核心是将常系数微分方程转化为线性代数问题。dudt=λu的解为u(t)=Ceλt\frac{du}{dt}=\lambda u \quad 的解为 \quad u(t) = Ce^{\lambda t}dtdu​=λu的解为u(t)=Ceλt代入 t=0t=0t=0，可得 u(0)=Cu(0) = Cu(0)=C，因此有 u(t)=u(0)eλtu(t) = u(0)e^{\lamb...

当 AAA 是对称的时候，Ax=λxAx=\lambda xAx=λx 有什么特殊的呢？1. 对称矩阵的分解A=SΛS−1A = S\Lambda S^{-1}A=SΛS−1AT=(S−1)TΛSTA^T = (S^{-1})^T\Lambda S^{T}AT=(S−1)TΛST如果 AAA 是对称矩阵，也就是 A=ATA=A^TA=AT。对比以上两个式子，我们可以得到 S−1=STS...

1. A = LU之前在消元的过程中，我们看到可以将矩阵 AAA 变成一个上三角矩阵 UUU，UUU 的对角线上就是主元。下面我们将这个过程反过来，通一个下三角矩阵 LLL 我们可以从 UUU 得到 AAA， LLL 中的元素也就是乘数 lijl_{ij}lij​。如果有一个 3*3 的矩阵，假设不需要进行行交换，那我们需要三个消元矩阵 E21,E31,E32E_{21}, E_{31},...