![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学之美
文章平均质量分 92
seniusen
一个乐观的终身学习者!
展开
-
线性代数之——复数矩阵
为了完整地展示线性代数,我们必须包含复数。即使矩阵是实的,特征值和特征向量也经常会是复数。1. 虚数回顾虚数由实部和虚部组成,虚数相加时实部和实部相加,虚部和虚部相加,虚数相乘时则利用 i2=−1i^2=-1i2=−1。在虚平面,虚数 3+2i3+2i3+2i 是位于坐标 (3,2)(3, 2)(3,2) 的一个点。复数 z=a+biz=a+biz=a+bi 的共轭为 zˉ=z∗=a−bi...原创 2019-11-29 14:00:52 · 11719 阅读 · 0 评论 -
线性代数之——矩阵范数和条件数
1. 矩阵范数我们怎么来衡量一个矩阵的大小呢?针对一个向量,它的长度是 ∣∣x∣∣||\boldsymbol x||∣∣x∣∣。针对一个矩阵,它的范数是 ∣∣A∣∣||A||∣∣A∣∣。有时候我们会用向量的范数来替代长度这个说法,但对于矩阵我们只说范数。有很多方式来定义矩阵的范数,我们来看看所有范数的的要求然后选择其中一个。Frobenius 对矩阵中的所有元素进行平方 ∣aij∣2|a_{i...原创 2019-11-29 13:57:09 · 3499 阅读 · 0 评论 -
线性代数之——傅里叶级数
这部分我们从有限维扩展到无限维,在无限维空间中线性代数依然有效。首先,我们来回顾一下,我们一开始是以向量、点积和线性组合进行展开的。现在我们开始将这些基本的概念转化到无限维的情况,然后再继续深入探索。一个向量有无限多的元素是什么意思呢?有两种答案,都非常好。向量变成 v=(v1,v2,v3,⋯ )\boldsymbol v=(v_1,v_2,v_3,\cdots)v=(v1,v2,v3...原创 2019-11-26 22:06:51 · 912 阅读 · 0 评论 -
线性代数之——马尔科夫矩阵
这一部分我们关注正的矩阵,矩阵中的每个元素都大于零。一个重要的事实:最大的特征值是正的实数,其对应的特征向量也如是。最大的特征值控制着矩阵 AAA 的乘方。假设我们用 AAA 连续乘以一个正的向量 u0=(a,1−a)\boldsymbol u_0=(a, 1-a)u0=(a,1−a),kkk 步后我们得到 Aku0A^k\boldsymbol u_0Aku0,这些向量 u1,u2,u...原创 2019-11-26 22:05:04 · 6191 阅读 · 0 评论 -
线性代数之——图和网络
1. 图一个图由一系列节点以及连接它们的边组成,关联矩阵(incidence matrix)则告诉我们 nnn 个顶点是怎么被 mmm 条边连接的。关联矩阵中的每个元素都是 0,1 或者 -1,在消元过程中这也依然成立,所有的主元和乘数都是 ±1\pm1±1。因此分解 A=LUA=LUA=LU 也只包含 0,1 或者 -1,零空间矩阵亦是如此。四个基本子空间的基向量都只包含这些特别简单的元素。...原创 2019-11-26 22:03:34 · 1001 阅读 · 0 评论 -
线性代数之——对角化和伪逆
这部分我们通过选择更好的基底来产生更好的矩阵。当我们的目标是对角化矩阵时,一个选择可以是一组特征向量基底,另外一个选择可以是两组基底,输入基底和输出基底是不一样的。这些左右奇异向量是矩阵四个基本子空间中标准正交的基向量,它们来自于 SVD。事实上,所有对 AAA 的分解都可以看作是一个基的改变。在这里,我们只关注两个突出的例子,有一组基的 Λ\LambdaΛ 和有两组基的 Σ\SigmaΣ。...原创 2019-11-26 22:00:25 · 644 阅读 · 0 评论 -
线性代数之——基变换矩阵
1. 恒等变换现在让我们来找到这个特殊无聊的变换 T(v)=vT(\boldsymbol v)=\boldsymbol vT(v)=v 对应的矩阵。这个恒等变换什么都没有做,对应的矩阵是恒等矩阵,如果输出的基和输入的基一样的话。如果 T(vj)=vj=wjT(\boldsymbol v_j)=\boldsymbol v_j = \boldsymbol w_jT(vj)=vj=wj,那么...原创 2019-11-24 22:50:25 · 4626 阅读 · 0 评论 -
线性代数之——线性变换及对应矩阵
1. 线性变换的概念当一个矩阵 AAA 乘以一个向量 v\boldsymbol vv 时,它将 v\boldsymbol vv 变换到另一个向量 AvA\boldsymbol vAv。进来的是 v\boldsymbol vv,出去的是 T(v)=AvT( \boldsymbol v) = A\boldsymbol vT(v)=Av。一个变换 TTT 就像一个函数一样,进来一个数字 xxx,得到 ...原创 2019-11-24 22:47:13 · 4049 阅读 · 0 评论 -
线性代数之——SVD 分解
SVD 分解是线性代数的一大亮点。1. SVD 分解AAA 是任意的 m×nm×nm×n 矩阵,它的秩为 rrr,我们要对其进行对角化,但不是通过 S−1ASS^{-1}A SS−1AS。SSS 中的特征向量有三个大问题:它们通常不是正交的;并不总是有足够的特征向量;Ax=λxAx=\lambda xAx=λx 需要 AAA 是一个方阵。AAA 的奇异向量很好地解决了上述所有问题。代价是...原创 2019-11-24 22:44:20 · 827 阅读 · 0 评论 -
线性代数之——相似矩阵
当 AAA 有足够的特征向量的时候,我们有 S−1AS=ΛS^{-1}AS=\LambdaS−1AS=Λ。在这部分,SSS 仍然是最好的选择,但现在我们允许任意可逆矩阵 MMM,矩阵 AAA 和 M−1AMM^{-1}AMM−1AM 称为相似矩阵,并且不管选择哪个 MMM,特征值都保持不变。1. 相似矩阵假设 MMM 是任意的可逆矩阵,那么 B=M−1AMB = M^{-1}AMB=M−...原创 2019-11-24 10:11:05 · 6524 阅读 · 0 评论 -
线性代数之——正定矩阵
这部分我们关注有正特征值的对称矩阵。如果对称性使得一个矩阵重要,那么所有特征值大于零这个额外属性则让这个矩阵真正特殊。但我们这里的特殊并不是稀少,事实上在各种应用中具有正特征值的对称矩阵非常常见,它们被称作正定矩阵。我们可以通过检查特征值是否大于零来识别正定矩阵,但计算特征值是一项工作,当我们真正需要它们的时候我们可以进行计算,而如果我们仅仅想知道它们是否是正的,我们有更快的方式。1. 正...原创 2019-11-24 09:52:28 · 8455 阅读 · 1 评论 -
均匀分布的公交站等车问题
小森在公交站等车,有三路公交车均可乘坐到达目的地。A 公交车到站的时间为 0 到 10 分钟内的任一时间点,且服从 [0, 10] 的均匀分布。同样地,B 公交车到站的时间为 0 到 20 分钟内的任一时间点,C 公交车到站的时间为 0 到 30 分钟内的任一时间点。求问小森的平均等车时间?1. 只有两辆公交车的情况三辆公交车分析起来比较复杂,我们可以试着先考虑只有两辆公交车的情况,弄明白...原创 2019-04-23 12:44:11 · 3110 阅读 · 0 评论 -
线性代数之——特征值和特征向量
线性方程 Ax=bAx=bAx=b 是稳定状态的问题,特征值在动态问题中有着巨大的重要性。du/dt=Audu/dt=Audu/dt=Au 的解随着时间增长、衰减或者震荡,是不能通过消元来求解的。接下来,我们进入线性代数一个新的部分,基于 Ax=λxAx=\lambda xAx=λx,我们要讨论的所有矩阵都是方阵。1. 特征值和特征向量几乎所有的向量在乘以矩阵 AAA 后都会改变方向,某些特殊...原创 2018-11-27 22:54:22 · 3983 阅读 · 0 评论 -
线性代数之——克拉默法则、逆矩阵和体积
1. 克拉默法则这部分我们通过代数方法来求解 Ax=bAx=bAx=b。用 xxx 替换单位矩阵的第一列,然后再乘以 AAA,我们得到一个第一列为 bbb 的矩阵,而其余列则是从矩阵 AAA 中对应列直接拷贝过来的。利用行列式的乘法法则,我们有∣A∣(x1)=∣B1∣|A|(x_1)=|B_1|∣A∣(x1)=∣B1∣如果我们想要求 x2x_2x2,那么将 xxx 放在单位矩阵的...原创 2018-11-27 22:52:37 · 4282 阅读 · 0 评论 -
线性代数之——行列式公式及代数余子式
计算机通过主元来计算行列式,但还有另外两种方法,一种是大公式,由 n!n!n! 项置换矩阵组成;另一种是代数余子式公式。主元的乘积为 2∗32∗43∗54=52 * \frac{3}{2}* \frac{4}{3}* \frac{5}{4} = 52∗23∗34∗45=5。大公式有 4!=244!=244!=24 项,但只有 5 个非零项。detA=16−4−4−4+1=...原创 2018-11-27 22:50:02 · 8413 阅读 · 0 评论 -
线性代数之——行列式及其性质
方阵的行列式是一个数字,这个数字包含了矩阵的大量信息。首先,它立即告诉了我们这个矩阵是否可逆。矩阵的行列式为零的话,矩阵就没有逆矩阵。当 AAA 可逆的时候,其逆矩阵 A−1A^{-1}A−1 的行列式为 1/det(A)1 / det(A)1/det(A)。行列式可以用来求逆矩阵、计算主元和求解方程组,但是我们很少这样做,因为消元会更快。对于上述矩阵,如果行列式 ad−bcad-bcad−...原创 2018-11-26 21:47:45 · 1511 阅读 · 0 评论 -
线性代数之——正交矩阵和 Gram-Schmidt 正交化
这部分我们有两个目标。一是了解正交性是怎么让 x^\hat xx^ 、ppp 、PPP 的计算变得简单的,这种情况下,ATAA^TAATA 将会是一个对角矩阵。二是学会怎么从原始向量中构建出正交向量。1. 标准正交基向量 q1,⋯ ,qnq_1, \cdots, q_nq1,⋯,qn 是标准正交的,如果它们满足如下条件:qiTqj={0,if i...原创 2018-11-26 21:45:18 · 1470 阅读 · 0 评论 -
线性代数之——秩和解的结构
1. 矩阵的秩mmm 和 nnn 给出了矩阵的大小,但却不是线性方程组的真正大小。因为,一个 0=00=00=0 的方程实际上是不算的。如果 AAA 中有完全相等的两行,或者第三行是第一行和第二行的线性组合,那么消元过程中就会出现全零的行。线性方程组的真正大小由秩来确定。矩阵的秩是主元的个数,称为 rrr。A=[112412251326]A = \begin{bmatrix} 1&...原创 2018-11-18 20:55:25 · 1741 阅读 · 2 评论 -
线性代数之——向量简介
1. 二维向量在二维平面中,一个二维向量可以用一个箭头来表示,这个箭头起始于原点,终点坐标 (x,y)(x, y)(x,y) 分别为向量中的两个元素,而 cvc\boldsymbol{v}cv 与 dwd\boldsymbol{w}dw 的和则是向量 v\boldsymbol{v}v 和 w\boldsymbol{w}w的线性组合。2. 三维向量三维向量和二维向量类似,可以表示为三维平面中...原创 2018-11-14 17:04:39 · 7119 阅读 · 0 评论 -
线性代数之——向量空间
1. 向量空间和子空间向量空间 Rn\boldsymbol R^nRn 由所有的 nnn 维向量 vvv 组成,向量中的每个元素都是实数。向量空间 R2\boldsymbol R^2R2 可以用 xyxyxy 平面来表示,其中的每个向量有两个元素,它们定义了平面上一个点的坐标。在一个向量空间中,如果我们将任意向量相加或者乘以一个标量,也就是任意向量的线性组合,它们的结果仍然在这个向量空间中...原创 2018-11-16 13:14:41 · 3722 阅读 · 1 评论 -
线性代数之——正交向量与子空间
1. 正交子空间两个向量垂直,意味着 vTw=0v^Tw=0vTw=0。两个子空间 V\boldsymbol VV 和 W\boldsymbol WW 是正交的,如果V\boldsymbol VV 中的每个向量 vvv 都垂直于 W\boldsymbol WW 中的每个向量 www。想象你处在一个房间里,那么地面是一个子空间 V\boldsymbol VV,两面墙的交线是另一个子空间 W...原创 2018-11-21 11:49:21 · 1417 阅读 · 0 评论 -
线性代数之——子空间投影
1. 投影向量 $ b = (2, 3, 4)$ 在 zzz 轴上和在 xyxyxy 平面上的投影是什么,哪个矩阵能产生到一条线上和到一个平面的投影?当 bbb 被投影到 zzz 轴上时,它的投影 ppp 就是 bbb 沿着那条线的部分。当 bbb 被投影到一个平面时,它的投影就是 bbb 在平面中的部分。到 zzz 轴上的投影 p1=(0,0,4)p_1 = (0, 0, 4)p1=...原创 2018-11-21 11:51:46 · 1143 阅读 · 0 评论 -
线性代数之——行图像和列图像
1. 线性方程组的几何解释线性代数的中心问题就是解决一个方程组,这些方程都是线性的,也就是未知数都是乘以一个数字的。x − 2y = 13x + 2y = 11\begin{alignedat}{2} &x \space- \space&2&y \space=\...原创 2018-11-15 13:01:30 · 3545 阅读 · 0 评论 -
线性代数之——消元法
1. 消元的思想针对下面的方程,我们无法直接得到方程的解。x − 2y = 13x + 2y =&am原创 2018-11-15 13:03:55 · 4307 阅读 · 0 评论 -
线性代数之——矩阵乘法和逆矩阵
1. 矩阵乘法如果矩阵 BBB 的列为 b1,b2,b3b_1, b_2, b_3b1,b2,b3,那么 EBEBEB 的列就是 Eb1,Eb2,Eb3Eb_1, Eb_2, Eb_3Eb1,Eb2,Eb3。EB=E[b1b2b3]=[Eb1Eb2Eb3]\boldsymbol{EB = E[b_1 \quad b_2 \quad b_3] = [Eb_1 \quad Eb_2 \...原创 2018-11-15 13:12:52 · 22369 阅读 · 0 评论 -
线性代数之——线性相关性、基和维数
1. 线性相关性矩阵 AAA 的列是线性不相关的当且仅当 Ax=0Ax=\boldsymbol0Ax=0 的唯一解是 x=0x=\boldsymbol0x=0。没有其它的线性组合能给出零向量。在三维空间中,如果三个向量 v1,v2,v3v_1, v_2, v_3v1,v2,v3 不在同一个平面中,那它们就是不相关的,只有 0v1+0v2+0v30v_1+0v_2+0v_30v1+0...原创 2018-11-19 20:01:17 · 1624 阅读 · 0 评论 -
线性代数之——四个基本子空间
1. 四个基本子空间行空间 C(AT)C(A^T)C(AT),一个 RnR^nRn 的子空间,由所有行的线性组合构成,维数为 rrr列空间 C(A)C(A)C(A),一个 RmR^mRm 的子空间,由所有列的线性组合构成,维数为 rrr零空间 N(A)N(A)N(A),一个 RnR^nRn 的子空间,由所有 Ax=0Ax=0Ax=0 的解的线性组合构成,维数为 n−rn-rn−r左零空间...原创 2018-11-19 20:04:18 · 2992 阅读 · 2 评论 -
线性代数之——最小二乘
1. 最小二乘Ax=bAx=bAx=b 经常会没有解,当方程个数大于未知数个数,也即 m>nm>nm>n 时,列空间并不是 RmR^mRm 空间的全部,因此 bbb 可能不在列空间中,这时候方程组就无解,但我们不应该就此而停止。也就是误差 e=b−Axe = b-Axe=b−Ax 并不总是能得到 0,这时候,如果误差 eee 的长度尽可能的小,那我们就得到了最...原创 2018-11-25 21:47:01 · 4246 阅读 · 0 评论 -
线性代数之——对角化和 A 的幂
利用特征向量的属性,矩阵 AAA 可以变成一个对角化矩阵 Λ\LambdaΛ。1. 对角化假设一个 n×nn×nn×n 的矩阵 AAA 有 nnn 个线性不相关的特征向量 x1,⋯ ,xnx_1,\cdots,x_nx1,⋯,xn ,把它们作为特征向量矩阵 SSS 的列,那么就有 S−1AS=ΛS^{-1}AS=\LambdaS−1AS=Λ。矩阵 AAA...原创 2018-11-29 10:47:22 · 1183 阅读 · 0 评论 -
线性代数之——微分方程和 exp(At)
本节的核心是将常系数微分方程转化为线性代数问题。dudt=λu的解为u(t)=Ceλt\frac{du}{dt}=\lambda u \quad 的解为 \quad u(t) = Ce^{\lambda t}dtdu=λu的解为u(t)=Ceλt代入 t=0t=0t=0,可得 u(0)=Cu(0) = Cu(0)=C,因此有 u(t)=u(0)eλtu(t) = u(0)e^{\lamb...原创 2018-11-29 10:49:19 · 3942 阅读 · 0 评论 -
线性代数之——对称矩阵及正定性
当 AAA 是对称的时候,Ax=λxAx=\lambda xAx=λx 有什么特殊的呢?1. 对称矩阵的分解A=SΛS−1A = S\Lambda S^{-1}A=SΛS−1AT=(S−1)TΛSTA^T = (S^{-1})^T\Lambda S^{T}AT=(S−1)TΛST如果 AAA 是对称矩阵,也就是 A=ATA=A^TA=AT。对比以上两个式子,我们可以得到 S−1=STS...原创 2018-11-29 20:34:29 · 4900 阅读 · 1 评论 -
线性代数之——A 的 LU 分解
1. A = LU之前在消元的过程中,我们看到可以将矩阵 AAA 变成一个上三角矩阵 UUU,UUU 的对角线上就是主元。下面我们将这个过程反过来,通一个下三角矩阵 LLL 我们可以从 UUU 得到 AAA, LLL 中的元素也就是乘数 lijl_{ij}lij。如果有一个 3*3 的矩阵,假设不需要进行行交换,那我们需要三个消元矩阵 E21,E31,E32E_{21}, E_{31},...原创 2018-11-15 13:15:42 · 4203 阅读 · 0 评论