漫步线性代数
会敲键盘的猩猩
研究方向为机器学习,尤其是统计学习,数学业余爱好者。
展开
-
漫步线性代数二——线性方程的几何形状
理解这个主题的方法是举例说明。我们以两个极其简单的方程开始,可以说大家在没有学习线性代数课程的情况下都能解决。不过我希望可以给高斯一个机会: 2x−yx+y=1=5\begin{align*}2x-y&=1\\x+y&=5\end{align*}我们可以按行或按列看待这个方程组。我希望大家两方面都能明白。第一种方法主要看每个方程(行)。这是大家最熟悉的,对于两维的情况我们可以很快理解。方程2翻译 2016-08-15 23:10:10 · 4741 阅读 · 0 评论 -
漫步线性代数二十一——行列式引言
在一百年前,行列式不是线性代数的中心,但是数学的方向一直在变换!毕竟,仅仅一个数就能告诉我们许多矩阵的信息。对行列式的一种理解是:它对A−1,A−1bA^{-1},A^{-1}b的每一项给出了明确的方式,这个公式不会随着我们的计算方法而改变。事实上,我们可以将行列式看成n×nn\times n矩阵最有效的替代公式,这个公式说明了A−1A^{-1}如何依赖AA的n2n^2个元素,以及这些元素变化时这个翻译 2016-09-17 22:03:28 · 1067 阅读 · 0 评论 -
漫步线性代数九——求Ax=0和Ax=b
前面的文章关注的是方阵的逆矩阵,Ax=bAx=b有一个解的话它就是x=A−1bx=A^{-1}b,它可以通过消元法得到。一个长方形矩阵带来的新的可能性——UU可能没有所有的主元,本文我们就将UU 化为形式RR—— 消元法能给出的最简矩阵,RR立马给出所有解。对于一个可逆矩阵,零空间只包含x=0x=0,列空间就是整个空间,当零空间不仅仅包含零向量而(或)列空间没有包含所有向量时新的问题出现了:零空间翻译 2016-08-25 18:33:05 · 7978 阅读 · 0 评论 -
漫步线性代数十六——投影和最小二乘
目前为止,我们已经知道Ax=bAx=b要么有解要么无解,如果bb 不在列空间C(A)C(A) 里,那么这个系统就是矛盾的,高斯消元法就会失败。当有几个方程和一个未知量时失败完全可以确定: 2x3x4x===b1b2b3\begin{array}{ccc}2x&=&b_1\\3x&=&b_2\\4x&=&b_3\end{array}当b1,b2,b3b_1,b_2,b_3的比率是2:3:42翻译 2016-09-05 21:48:39 · 5487 阅读 · 0 评论 -
漫步线性代数十——线性无关,基和维数
m,nm,n没有给出线性系统实际大小的真实信息,在我们上文的例子中有三行和四列,但是第三行仅仅是前两行的组合,在消元后得到了零行,它对奇次问题Ax=0Ax=0 没有影响。第四列同样是相关的,列空间减到了二维平面。最重要的数是矩阵的秩rr,在消元过程中得到主元的个数是引入了这个数。等价的,最终矩阵UU有rr的非零行,这个定义是从计算中给出的,但是就这样结束不太妥当,因为这样的话秩给我们简单而直观的印象翻译 2016-08-26 21:16:08 · 8066 阅读 · 1 评论 -
漫步线性代数十七——正交基和格拉姆-施密特正交化(上)
对于一个正交基,每个向量和其他所有向量垂直,坐标轴就是互相正交的。我们还可以进一步改善:每个向量除以它的长度得到单位向量,这样的话正交基变成了标准正交基:16、如果 qTiqj={01i≠j,给出正交性i=j,给出归一性q_i^Tq_j=\begin{cases}0&i\neq j,\text{给出正交性}\\1&i=j,\text{给出归一性}\end{cases}那么q1,…,qnq翻译 2016-09-06 23:09:35 · 7065 阅读 · 0 评论 -
漫步线性代数二十六——特征值和特征向量(续)
上面展示了当求解du/dt=Audu/dt=Au时,如何自然而然的引出特征值λ\lambda和特征向量xx,这样的一个方程有纯指数解u=eλtxu=e^{\lambda t}x;特征值给出了增长或衰减速率,特征向量xx以这个速率在变化。其他解是这些解的叠加,这样做是为了拟合初始条件。关键方程是Ax=λxAx=\lambda x,大多数向量xx不满足这样的方程,当AA与他们相乘时,他们的方向发生了变化翻译 2016-09-22 19:52:51 · 1978 阅读 · 2 评论 -
漫步线性代数二十二——行列式性质
行列的性质比较多,不过幸运的是,每条性质都很容易理解,甚至用2×22\times 2的例子进行图解会更加容易,因此我们将用2×22\times 2的情况来证实这些定义, det[acbd]=∣∣∣acbc∣∣∣=ad−bcdet\begin{bmatrix}a&b\\c&d\end{bmatrix}=\begin{vmatrix}a&b\\c&c\end{vmatrix}=ad-bc翻译 2016-09-18 19:15:13 · 2957 阅读 · 0 评论 -
漫步线性代数二十三——行列式公式
第一个公式上篇文章已经出现了,行操作得到DD中的主元:1、如果AA是可逆的,那么PA=LDUPA=LDU并且detP=±1\det P=\pm 1。乘积法则得出 detA=±detLdetDdetU=±(主元的乘积)(1)\begin{equation}\det A=\pm \det L\det D\det U=\pm(\text{主元的乘积})\tag1\end{equation}符号±\p翻译 2016-09-19 21:36:54 · 1930 阅读 · 0 评论 -
漫步线性代数二十四——行列式应用
本篇文章介绍四个应用:AA的逆,求解Ax=bAx=b,盒子的体积以及主元。他们都是线性代数里面非常关键的计算,而行列式给出了这些答案的公式。1、计算A−1A^{-1}。2×22\times 2矩阵展示了伴随矩阵如何表示A−1A^{-1}: [acbd]−1=1ad−bc[d−c−ba]\begin{bmatrix}a&b\\c&d\end{bmatrix}^{-1}=\frac{1}{a翻译 2016-09-20 21:12:30 · 2292 阅读 · 0 评论 -
漫步线性代数十八——正交基和格拉姆-施密特正交化(下)
格拉姆-施密特声明:以后博主会把文章的pdf版本陆续发布到的网上,免费供大家下载 正交基和格拉姆-施密特正交化假设我们有是是三个无关向量a,b,ca,b,c,如果他们是正交的,那么会多问题都变得容易了。例如要计算vv到第一个向量的投影,只需计算(aTv)a(a^Tv)a,投影到前两个向量所在的平面只需相加即可(aTv)a+(bTv)b(a^Tv)a+(b^Tv)b,同样投影到三个向量组成的空间就是翻译 2016-09-08 21:15:24 · 6446 阅读 · 12 评论 -
漫步线性代数二十五——特征值和特征向量
之后的文章开始介绍线性代数的后半部分。线性代数的前半部分几乎都涉及到Ax=bAx=b,从现在起我们将通过化简矩阵(尽可能变成对角矩阵)来求解新问题Ax=λxAx=\lambda x,基本的步骤已经不是某行减去另一行的倍数:消元法会改变特征值,这不是我们需要的。行列式是从Ax=bAx=b到Ax=λxAx=\lambda x的过渡,对于这两种情况,行列式都给出了一个形式解:在x=A−1bx=A^{-1}翻译 2016-09-21 21:14:00 · 2336 阅读 · 0 评论 -
漫步线性代数二十——快速傅里叶变换(下)
快速傅里叶变换傅里叶分析是一个很美妙的理论,而且它还很实用。在频域分析波形可以很好的将信号分离开来,相反的过程又能回到时域中。处于物理和数学的缘故,指定实用指数函数,我们感觉最主要的原因就是:如果我们对eikxe^{ikx}求导、积分或将xx变成x+hx+h,结果依然是eikxe^{ikx}的倍数,指数函数非常适用于微分方程,积分方程和差分方程,每个频域分量有自己的运作方式,就像特征值一样,然后阿门翻译 2016-09-17 16:24:57 · 2723 阅读 · 1 评论 -
漫步线性代数一——引言
我们以线性代数的中心问题开启我们的航程:解决线性方程。最重要并且也是最简单的情况就是位置函数的数目等于方程的数目。现在我们有包含nn个未知变量的nn个方程,首先从n=2n=2开始: 1x+2y=34x+5y=6(1)\begin{equation}1x+2y=3\\4x+5y=6\tag1\end{equation}未知变量是x,yx,y。我打算用消元和行列式两种方式来求解方程。当然x,yx翻译 2016-08-13 18:15:34 · 2760 阅读 · 3 评论 -
漫步线性代数八——向量空间和子空间
消元简化了线性方程组Ax=bAx=b,幸运的是它也简化了理论。存在性和唯一性的基本问题(一个解或没有解或无穷多个解)在消去之后很容易回答,我们现在就针对m×nm\times n系统讨论这些问题。但消去只有得到了一种Ax=bAx=b的一种理解,我们的主要目标是实现不同和更深层次的理解,之后的内容比之前的难一点,它将通向线性代数的核心。为了给出向量空间的概念,我们首先介绍一下最重要的空间,他们用R1,R翻译 2016-08-24 21:45:39 · 10598 阅读 · 2 评论 -
漫步线性代数三——高斯消元法
高斯消元法实例了解消元法最好的方式是看例子。我们以三维开始: Original system 2u4u−2u+−+v6v7v++w2w===5−29(1)\begin{equation}{\rm{Original\ system\ }}\begin{array}{ccccccc}2u&+&v&+&w&=&5\\4u&-&6v& & &=&-2\tag1\\-2u&+&7v&+&2w&=&翻译 2016-08-16 18:26:02 · 5173 阅读 · 2 评论 -
漫步线性代数十一—— 四个基本子空间
上篇文章处理了定义而不是,我们知道基是什么,但不知道如何找到他们。现在,从一个明确描述的子空间开始,我们开始计算显式的基。子空间能用两种方式描述。第一,我们可以给出一个生成空间的向量集合。(例如:列生成列空间)第二,我们可以给出空间中的向量必须满足什么条件。(例如:零空间包含满足Ax=0Ax=0 的所有向量)第一个描述可能包含无用的向量(相关列),第二个描述可能包含重复的条件(相关行),我们无法通过翻译 2016-08-27 15:59:20 · 7151 阅读 · 0 评论 -
漫步线性代数十二——网络
上篇文章举的例子是3×43\times 4矩阵,从理论角度来说它解决了我们要求的问题:计算四个子空间以及他们的维数r,n−r,r,m−rr,n-r,r,m-r都是非零的。但是这个例子并是不是由实际应用产生的,它没有说明这些子空间本质是什么。本篇文章介绍一类长方形矩阵,他们有两个优点,简单和重要。他们就是图的相关矩阵,每个元素都是1,-1或0,值得注意的还有四个子空间的基向量是相同的,这些子空间在网络翻译 2016-08-30 19:17:46 · 1456 阅读 · 1 评论 -
漫步线性代数五——三角分解和行交换
我们继续消去法,看看它对矩阵意味着什么。我们从Ax=bAx=b开始: Ax=⎡⎣⎢24−21−67102⎤⎦⎥⎡⎣⎢uvw⎤⎦⎥=⎡⎣⎢5−29⎤⎦⎥=b(1)\begin{equation}Ax=\begin{bmatrix}2&1&1\\4&-6&0\\-2&7&2\end{bmatrix}\begin{bmatrix}u\\v\\w\end{bmatrix}=\begin{b翻译 2016-08-21 19:50:38 · 3337 阅读 · 0 评论 -
漫步线性代数四——矩阵符号和矩阵乘法
对于3×33\times 3的例子,我们能够写出所有的公式。可以列出消去步骤,一个方程减去另一个方程的倍数达到三角矩阵的形式。对于一个大的系统,这种跟踪消去的步骤太长了,所以我们需要更加简洁的记录方式。我们现在引进矩阵符号来描述开始的系统,用矩阵乘法来描述计算步骤会更简单。注意三种不同类型的量都出现在例子中: Nine coefficientsThree unknownsThree right−h翻译 2016-08-17 19:24:37 · 16834 阅读 · 0 评论 -
漫步线性代数十三——线性变换
我们已经知道了矩阵AA的四个基本空间,它的零空间使得向量变成零向量,因为AxAx是列的组合,所以所有向量都位于列空间里。之后我们还会看到一些每秒的东西——AA将它的行空间变成列空间,在这些维度为rr的空间上矩阵是可逆的,这是矩阵AA的实际操作,还有一部分被零空间和左零空间隐藏了。假设xx是一个nn为向量,当AA乘以xx的时候,它将向量变成了一个新的向量AxAx,对于RnR^n空间里的所有点xx都会发翻译 2016-08-31 22:12:40 · 4107 阅读 · 9 评论 -
漫步线性代数六——逆和转置
n×nn\times n矩阵的逆是另一个n×nn\times n矩阵,AA的逆写成A−1A^{-1},它的基本性质是:如果乘AA后再乘以A−1A^{-1},那么将回到开始状态: 如果b=Ax,那么A−1b=x\text{如果}b=Ax,\text{那么}A^{-1}b=x因此A−1Ax=xA^{-1}Ax=x。矩阵A−1×AA^{-1}\times A得到单位矩阵,然而并非所有矩阵都存在逆,当翻译 2016-08-22 18:34:49 · 6447 阅读 · 0 评论 -
漫步线性代数十九——快速傅里叶变换(上)
傅里叶级数是无限维度上的线性代数,它里面的向量实际上是函数f(x)f(x);他们分别投影到正弦和余弦上;然后乘以傅里叶系数ak,bka_k,b_k。用ak,bka_k,b_k乘以无限的正弦和余弦序列就重新构建了函数f(x)f(x),这是个经典的情况,当然也是傅里叶希望看到的,但是在实际计算中,我们用的是离散傅里叶变换,傅里叶依然存在,只不过是在有限维而已。这是基于正交的线性代数,输入是一个数列y0,翻译 2016-09-12 22:31:14 · 5948 阅读 · 5 评论 -
漫步线性代数十四——正交和子空间
基是无关向量的集合,他们可以生成一个空间。几何上,它是坐标轴的集合,没有这些坐标轴也可以定义向量空间,但是每次我们考虑x−yx-y平面和三维空间空间或RnR^n时,就会用到坐标轴,他们通常是互相垂直的!在选择基的时候,我们倾向于选择一个正交基。正交基的想法是线性代数基本内容之一,我们需要一个基将几何转变为代数计算,而正交基可以让计算更加容易,再特殊一点:向量长度为1。对于一个正交基(正交单位向量),翻译 2016-09-02 00:26:42 · 7746 阅读 · 0 评论 -
漫步线性代数七——特殊矩阵和应用
本篇文章有两个目标。第一是解释实际问题中大型线性方程组Ax=bAx=b的一种解法,事实是,工程或经济学中大型和现实的问题能够引导我们更深入理解这些知识。但是有一个很重要应用却不需要大量的准备工作。另一个目标是说明系数矩阵具有的一些特殊性质,为了方便我们用同一个应用进行讲解。大型矩阵几乎总是有一个清晰的模式-对称和很多零元素。因为一个稀疏矩阵包含的信息远小于n2n^2个,所以计算应该更快。我们将观察带翻译 2016-08-23 20:53:35 · 1796 阅读 · 0 评论 -
漫步线性代数十五——余弦和投影
满足xTy=0x^Ty=0的向量是正交的,现在我们考虑内积不为零的情况,也就是夹角不是直角。我们想把内积和角度以及转置联系起来,回顾之前讲过的转置,将矩阵翻转一下就是它的转置,有点像摊煎饼。首先不可否认的是:正交情况是最重要的。假设我们想要找出点bb到向量aa所在直线的距离,那么我们就需要沿着直线找到离点bb最近的点pp,几何上的含义就是:连接b,pb,p的线(图1)与aa垂直。基于这个事实,我们可翻译 2016-09-03 20:09:27 · 3373 阅读 · 0 评论 -
漫步线性代数二十七——矩阵对角化
现在我们开始实质性的计算,它非常简单并且在随后的几篇文章里都会用到。特征向量对角化一个矩阵:3、假设n×nn\times n矩阵有nn个线性无关的特征向量,如果这些向量是矩阵SS的列,那么S−1ASS^{-1}AS是一个对角矩阵Λ\Lambda,AA的特征值在Λ\Lambda的对角线上: S−1AS=Λ=⎡⎣⎢⎢⎢⎢⎢λ1λ2⋱λn⎤⎦⎥⎥⎥⎥⎥(1)\begin{equation}S^{-1}翻译 2016-11-29 22:03:24 · 9315 阅读 · 2 评论