线性代数的本质--笔记整理

线性代数的本质--笔记

00 序言

尽管一批教授和教科书编者用关于矩阵的荒唐至极的计算内容掩盖了线性代数的简明性,但是鲜有与之相较更为初等的理论。            一一让.迪厄多内

 

线性代数不仅仅是数值的运算,还需要了解潜在的几何直观。(从数值水平和几何水平理解)

------------------------------------------------------------------------------------------

01 向量是什么?

“The introduction of numbers as coordinates is an act of violence.

(参照一维连续统的特定划分模式来)                           一一 Hermann Weyl

引入一些数作为坐标是一种鲁莽的行为。      一一赫尔曼.外尔

向量:    

(1)物理:空间中的箭头,由长度与方向决定,可自由移动

(2)计算机:有序的数字列表 [0.1 0.5 0.7]T => 三维向量

(3)数学:Vector can be everything,只需保证两向量相加以及数字与向量相乘是有意义的

线性代数围绕两种基本运算:向量数乘与向量加法。

N维向量对应N维空间中的一个箭头,也对应一个有序N元数组。

向量也可视为空间中的一次运动。

Scalars 标量用于Scaling(缩放)向量(线代中数字主要作用为缩放向量,“数字”=“标量”)

线性代数提供了一种通过计算机能处理的数字来描述并操纵空间 的语言。

------------------------------------------------------------------------------------------

02 线性组合、张成的空间与基

数学需要的不是天赋,而是少量的自由想象,但想象太过自由又会陷入疯狂。

一一安古斯.罗杰斯

二维空间中,向量是x方向单位向量(i帽)和y方向单位向量(j帽)的缩放求和

i帽和j帽是xy坐标系的基向量(basis vectors)(选择不同的基向量可获得新的合理坐标系)

 

两个数乘向量的和称为这两个向量的线性组合

所有可表示为给定向量线性组合的向量集合称为 给定向量“张成的空间”(span)

两个非共线向量可张成二维空间,张成也指通过向量加与乘可获得的向量集合

 

向量组线性有关:向量组有向量去掉后不影响张成的空间(向量可表示为其它向量线性组合)

线性无关:所有向量都给张成的空间增添新的维度

基的严格定义:向量空间的一组基是张成改扩建的一个线性无关向量集

------------------------------------------------------------------------------------------

03 矩阵与线性变换

Unfortunately,no one can be told what the Matrix is. You have to see it for yourself.

一一Morpheus

线性变换: 变换transformation ≈ 函数function    向量变换->运动

         线性变换是“保持网格线平行且等距分布的变换”(保持原点不懂)

2X2 Matrix: 列向量可理解为变换后的i帽和j帽(矩阵列看为变化后的基向量)

描述线性变化的二维矩阵与任意初始向量  à 线性变化后的向量

 

矩阵向量乘法可看作变化后基向量的线性组合

Shear剪切: i帽不变,j帽变为(1,1)

以基向量坐标为列构成的矩阵提供了描述线性变换的语言。

矩阵是对空间的一种特定变换。

线性的严格定义:

------------------------------------------------------------------------------------------

04 矩阵乘法与线性变换复合

It is my experience that proofs involving matrices can be shortened by 50% if one throws the matrices out.                                一一 Emil Artin

严格意义上:线性变换是将向量作为输入与输出的一类函数

         线性变换可看作对空间的挤压伸展(保持网格线平行且等距分布,保持原点不变)

多个线性变换的总体作用是另一个线性变换,通常称为前面多个独立变换的“复合变换

 

对给定向量旋转后剪且应当与复合变换作用结果完全相同

 

因此:复合变换矩阵应当等于前面独立变换矩阵的乘积(矩阵相乘==线性变换的相继作用)

 

i帽去哪了?

右侧矩阵的列向量为第一次变换后的基向量(二维空间为i帽和j帽),左乘矩阵后得到矩阵的列向量为第二次变换后的基向量。

Associativity结合律:(A)BC = A (BC) ----证明—> 变换相继作用是对此性质的良好解释

(数值证明繁琐)    Good explanation > Symbolic proof

 

附注一:三维空间中的线性变换(三维向量输入输出)

三维空间中的基向量:i帽,j帽和k帽;线性变换后基向量坐标组成3X3矩阵

基向量“缩放再相加”的过程在不同维度的变换前后均适用。

三维矩阵相乘:线性变换依次作用(右至左),应用广泛(计算机图形学等)

------------------------------------------------------------------------------------------

05 行列式(determinant)

计算的目的不在于数字本身,而在于洞察其背后的意义。 一一理查德.哈明

 

行列式:衡量变换对空间拉伸或挤压的程度  --->  测量给定区域面积增大或缩小的比例

只需知道单位正方形(基向量构成)面积变化比例可得其它任意区域的面积变化比例(由网格线平行且等距分布得到)

 

线性变换的行列式(The determinant of a transformation): det(A)

矩阵A: det(A) = n 表示线性变换将一个区域的面积变为原来的n倍

当n为0时说明线性变换将平面压缩到一条线或一个点上,因此行列式是否为0可表示矩阵代表的变换是否将空间压缩到更小维度

当n < 0时,(缩放负数倍?)涉及定向概念,类似于翻转空间,变换改变空间定向;或者根据i帽与j帽考虑,j帽的位置由i帽的左边变为i帽的右边时,判定空间定向改变。空间定向改变时行列式为负,但行列式绝对值表示区域空间缩放比例。

负的面积缩放比例为什么与定向改变相关?

二维空间中,i帽与j帽的靠近、重合(行列式为0)到远离,行列式呈持续减小的趋势;

 

三维空间中,考虑立方体(1X1X1,棱位于基向量上),变化后成为平行六面体(parallelepiped),行列式给出缩放比例,可视为六面体的体积。det=0时,矩阵的列必然线性相关。

描述三维空间定向:右手定则(变换后可以用右手表示则定向没改变,行列式为正;只能用左手做表示定向改变,行列式为负)

 

行列式计算:

2X2矩阵行列式: def( [a,b],[c,d]) = ad-bc。三阶行列式也成立

 

证明矩阵乘积的行列式等于行列式的乘积det(M1M2) = det(M1 )det(M2)

我认为:行列式计算空间缩放率,变换对空间的缩放程度是固定的。

行列式反应线性变换对空间(基向量)的缩放,独立变换后计算缩放程度相乘与复合变换(矩阵相乘对应复合变换)后计算缩放程度效果相同。(复合变换后的缩放率等于缩放率的乘积)。

 

行列式的本质是线性变换的放大率, n维空间到自身的线性变换,可以用一个方阵来表示,特征向量,就是变换中方向不变的向量,特征值就是这个向量的收缩率,所有特征值相乘就是整个放大率。也是行列式的值。

------------------------------------------------------------------------------------------

06 逆矩阵、列空间与零空间

提出正确的问题比回答它更困难。               一一格奥尔格.康托尔

以线性变换的眼光看:逆矩阵、列空间、秩、零空间

矩阵的用途:描述对空间的操纵,解线性方程组

 ,其中 待求向量经过 A 矩阵变换后,恰好落在  

det(A)0空间未被挤压,有且只有一个

A的逆变换即变换为,表示为A-1A-1A=I (恒等变换identity trans,保持基向量不变)

det(A)=0表示缩放比例为0发生降维:

此时无逆变换,但解仍然可能存在(例变换将空间降维,正好在低维空间上)

Rank:变换后空间的维度(列空间的维度),当秩与列相等时称为“满秩”(Full rank

满秩 = 列空间 + 零空间

列空间:矩阵的列张成的空间(矩阵列描述基向量变换后位置,列空间描述变换后基向量张成的空间)

零向量[0 0]T一定在列空间中,因为线性变换不改变原点位置。

非满秩矩阵将空间压缩到低维度,存在多个向量被压缩为0向量。

二维压缩到一个直线(一维),有一条直线(一维)的点被压缩到原点

三维压缩到一个面(二维),有一条直线(一维)的点被压缩到原点

三维压缩到一条线(一维),有一个平面(二维)的点被压缩到原点

矩阵的“零空间”或“核”kernel:变换后落在原点的向量的集合恰好是零向量时,零空间就是向量方程所有可能的解)

总结:

①每个方程组都有一个线性变换与之联系,逆变换存在时,就能用逆变换求解方程组

②不存在逆变换时,列空间的概念让我们清楚什么时候存在解

③零空间的概念有助于我们理解所有可能得解的集合是什么样的

附注二:非方阵

非方阵乘法:矩阵的行是这个变换的输出空间维数,而列是变换的输入空间维数。矩阵乘法从右向左读,第一个变换的 M2的输出向量的维度( M2 的行)必须和第二个变换 M1 的输入向量( M1 的列)维度相等,才可以计算

非方阵行列式:不存在,因为存在维度变化 无法计算缩放率

 

------------------------------------------------------------------------------------------

07 点积与对偶性

卡尔文:你知道吗,我觉得数学不是一门科学,而是一种宗教
霍布斯:一种宗教?
卡尔文:是啊。这些公式就像奇迹一般。你取出两个数,把它们相加时,它们神奇地成为了一个全新的数!没人能说清这到底是怎么发生的。你要么完全相信,要么完全不信

 

点积:

数值计算角度:相同长度的数组的点积就是相应坐标配对后乘积的和

几何直观:想象V·W为向量 W 朝着过原点和向量 V 的直线上的正交(垂直)投影,投影的长度和向量 V的长度的乘积就是点积的值。其中正负号代表方向,向量垂直点积为0。

点积顺序与结果无关:

证明:假设 向量v 和向量w 长度相同,利用对称轴,两个向量互相的投影相等;如果缩放其中一个到原来的n倍,对称性被破坏,但缩放比例没变,最终乘法的结果也不变。

点积与投影:(为什么点积会与投影长度的乘积建立联系  à  对偶性duality

首先建立多维到一维空间的线性变换(1xn矩阵,列表示对于基向量压缩到一维空间的位置),即函数(f(x),自变量对应多维空间,输出为一维空间(数轴上的点,一个数字)) 
严格线性性质 等价于一种直观特性(线性变换会保持等距分布的点等距分布在输出国空间中)
将向量转化为数的线性变换和这个向量本身有着某种关系。
将一个数轴放置在一个坐标系(二维空间)中,且空间所有向量都经过一个变换被压缩到这个数轴上。数轴单位向量记为u ,坐标系中的基向量i与j,由对称性可证得变换(投影矩阵 )的数值恰好为基向量u在坐标系中的坐标(ux, uy)
 
矩阵的向量乘积和点积的计算公式相同   ====>   压缩变换 = 投影
对偶性:两种数学事物之间自然而又出乎意料的对应关系
任意时候看到一个多维到一维的线性变换,空间中会存在唯一的向量v与之相关
总结:
点积是理解投影的有力几何工具,也可检验两个向量的指向是否相同。两向量的点积就是将其中一个向量转化为线性变换,向量是一个特定变换的概念性记号(线性变换的物质载体),而不仅仅是一个空间的箭头。

 

 

------------------------------------------------------------------------------------------

08 叉积

每一个维度都很特别 ——杰弗里·拉加里亚斯

从他(格罗滕迪克)和他的作为中,我还学到了一点:不以高难度的证明为傲,因为难度高意味着我们还不理解。理想的情况是能够绘出一幅美景,而其中的证明显而易见。--pierre

 

二维中的叉积:

向量v 与 w 张成的平行四边形的面积,即 →v ×→w。

叉积的正负需考虑vw ^ı  ^ȷ 的相对位置关系,相同为正;否则为负

越接近垂直的 →v 与 →w 构成的面积越大,叉积的分配律成立.

叉积实际定义:

真正的叉积是在三维情况下被定义出来的:通过两个三维向量(v  w )产生新的三维向量 p ,向量 p的长度就是 v w组成平行四边形的面积 ,向量的方向与平行四边形(所在平面)垂直,并用右手定则确定方向,食指为 v,中指为 w ,大拇指为 p

叉积计算:
 
其中 ^ı ^ȷ ^k 三个基向量后的数字就是对应向量 →p的坐标值

叉积计算几何直观:

对偶性概念:任意时候看到一个多维到一维的线性变换,空间中会存在唯一的向量v与之相关

根据 v  w 定义一个从三维空间到数轴的特定线性变换,找到这个变换的对偶向量对偶向量就是 v  w 叉积

3×3矩阵的行列式,即列向量张成的平行六面体的体积,然后,把第一列(向量)换成一个自变量,后两列(两向量)记为 v w 

 

函数 f() ,即平行六面体随白色向量 (x,y,z) 的随机游走而不断改变。问题转化为,需要根据 v w找到一个变换(一个矩阵,或者说函数),使得上述等式成立

因为 f() 是线性的,可以利用对偶性(应用线性变换到某个向量和与这个向量点乘等价);1x3的变换(矩阵用来描述变换),立起来(转置),写成点乘的形式(记为 →p)。

问题转化为寻找→p使等式成立,由点积的几何性质(投影后相乘)和平行六面体面积计算可知,因此→p作为被投影对象,被投影到与向量→v→w组成的平面垂直的直线上。而投影的长度就是(x,y,z) 向量的长度,由此可得 只有当→p长度等于S平行四面体时,点积=行列式值才能成立

过程总结:

定义三维到数轴的线性变换 f(),定义根据向量 v  w 

通过不同角度考虑变换的对偶向量:

       计算方法引导在第一列中插入基向量^i ^j ^k,随后计算行列式

       几何直观上,对偶向量垂直与向量 v  w ,且长度与向量张成的平行四边形面积相同

------------------------------------------------------------------------------------------

09 基向量

数学是一门赋予不同事物相同名称的艺术 ——昂利·庞加莱

坐标与基向量:

坐标系:发生在向量与一组数间的任意转化,向量使用不同基向量描述的结果也不同。(例如向量由基向量i^和j^表示为[3 2]T 记为“自己的语言”,由i^’和j^’表示为[3/5 1/5]T 记为“小明的语言”)

基变换:不同“语言”间使用矩阵向量乘法转换,上述例子转移矩阵T =  [],矩阵的列表示用自己的语言描述小明的语言的基变量,称为基变换(基变换矩阵)

T-1称为基变换矩阵的逆,作用是可以描述 从小明的语言转换为自己的语言 的变换。

如何转换矩阵:

       实例:变换左转90°,需要被转换的小明语言(向量)为[],步骤如下:

       ①左乘基变换矩阵(矩阵列表示用我们的语言描述詹妮弗语言的基向量)。

       ②左乘线性变换矩阵(表示左旋转90°的变换)变换后的向量(以我们的语言描述)

       左乘基变换矩阵的逆变换后的向量(用小明的语言(小明语言的基向量描述)

 

三个矩阵的乘积就是用其他语言描述的线性变换矩阵

总结:表达式 A−1MA 暗示着一种数学上的转移作用

  • 中间的 M 代表一种你所见的转换(例子中的90°旋转变换)
  • 两侧的矩阵 A 代表着转移作用(不同坐标系间的基向量转换),即视角上的转换
  • 矩阵乘积仍然表示着同一个变换,只不过是从其他人的角度来看

------------------------------------------------------------------------------------------

10 特征向量与特征值

“上一次演讲中我问道:‘数学对你来说意味着什么?’有些人回答:‘处理数字,处理结构。’那么如果我问音乐对你来说意味着什么,你会回答‘处理音符’吗? 一一塞尔日·兰

What

特征向量:变换后留在张成空间内的向量

特征值Eigenvalue特征向量被拉伸或压缩的比例因子(每个特征向量都对应特征值,但一个特征值可以对应多个特征向量);特征值的正负表示变换过程是否翻转方向

三维空间中,旋转的特征向量就是旋转轴,且特征值为1(因为旋转不缩放向量)

线性变换中,相比将矩阵列向量作为新坐标系的基向量,求出特征向量与特征值是对变换的一个更好的描述手段。(线性变换的两种理解方法:依赖坐标系与不依赖坐标系)

How:(计算过程)

根据定义:Av=λv A是求特征值和特征向量的变换矩阵,λ特征值,v特征向量)

Av=(λI)v ==> (A-λI) v = 0

其中,(A-λI)矩阵可看成是对v的降维变换矩阵,当v不是0向量时,det(A-λI)=0;即可求得特征值λ。求出λ后代入(A-λI),左乘(A-λI)矩阵等于0向量的向量,即为λ对应的特征向量。

求解特征向量就是寻找非零向量 v 使得 (A-λI) v = 0

求解特征值就是寻找一个λ  使得 det(A-λI)=0

特征向量的特殊情况:

旋转变换:λ=±i,无特征向量(特征值出现复数的变换一般涉及旋转)

剪切变换shearx轴不变,只有一个特征值为1

伸缩变换:只有一个特征值,存在无数个特征向量([] ==>特征值为2的伸缩变换矩阵

特征基:一组基向量(同样是特征向量)构成的集合

解读对角矩阵的方法:所有的基向量都是特征向量,矩阵的对角元是它们所属的特征值

如果一列只有对应的位置非零,那么坐标轴本身就是特征向量。

 

变换矩阵的特征向量集合可以张成全空间时(对角矩阵便于矩阵计算),利用基向量变换的方法(变换坐标系),把特征向量作为基向量,对每一个矩阵进行变换(变换为特征基)后再进行计算,最后左乘变换矩阵的逆求回原矩阵。(注:不是所有的矩阵都能对角化,比如Shear变换的特征向量不足以张成全空间

------------------------------------------------------------------------------------------

11 抽象向量空间

空间独立于坐标存在,坐标描述取决于选取的基向量。线代中的概念(行列式、特征向量)并不受所选坐标系的影响,都是暗含于空间中的性质。

函数与向量:

函数是另一种向量(具有向量的特性),具有可加性和成比例(线性的严格定义)

(f+g)(x) = f(x)+g(x)   (2f)(x) = 2f(x)

因此对于矩阵中所有定义的概念与方法,都可对应应用于函数。例如函数的线性变换(将函数转变为另一个函数,如导数(求导是线性运算)),一般被称为算子,与变换表达意思相同。

如果函数和向量是一个东西,是否可使用矩阵描述求导?(多项式空间中)

多项式空间包含任意高次的多项式,选取x的不同次幂作为基函数。(基函数与基向量作用类似,多项式空间的基函数集无限大)

因为多项式具有有限项,因此一个多项式的左边 = 有限长的一串数 + 无限长的一串0;其中求导由一个无限阶矩阵描述,矩阵绝大部分为0,次对角线按序排列着正整数。

 

求导变换矩阵:无限阶的列就是每个基函数的导数。

在向量中提到的概念在函数世界里都有直接的类比:

线性变换 <==> 线性算子    点积<==>内积   特征向量<==>特征函数

  存在类似向量的不同事物,只要处理的对象具有合理的数乘和相加的概念,线性代数中所有关于向量,线性变换和其他的概念都应该适用于它规律不应当只适用于特殊情况,对于其他类似向量的事物都应具有普适性。

 

向量空间::类似向量的事物(如箭头、函数等)的集合

向量加法和向量数乘的规则Rules for vectors addition and scaling)被称为“公理axioms

如果要让建立好的理论与概念适用于一个向量空间,必须满足以下八条公理:

 

公理是一个checklist,用于保证向量加法与数乘的概念正确性,应用线性代数的结论前需要先验证定义是否满足要求;也是一种媒介interface,用于连接数学家和所有想要把这些结论应用于新的向量空间的人。

使用公理描述空间,而不仅仅使用特定情况进行定义(如二维空间中的网格线保持平行且等距分布),这也是线性变换一般只使用可加性和成比例来定义的原因。

总结:

向量的形式不重要,只要相加和数乘的概念遵守公理即可。就像数字“3,数学中3可以是所有三个东西的集合的抽象概念,这样就能用概念推导出所有三个东西的集合。向量也是如此,但数学将其抽象为向量空间这种抽象的概念。

普适的代价是抽象abstractness is the price of generality。学习的过程来源于解决问题,来源于思考的repeat,正确的直观思维会使学习更加高效。

以上是本人看3Brown1Blue的线性代数本质视频的相关笔记,希望可以帮助大家理解。视频链接如下:https://www.bilibili.com/video/av6731067?p=16

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页