《线性代数应该这样学》读书笔记

每次看完书一定要记得写笔记下来，不然就忘了。这里只纪录看书时觉得不直观的地方和我自己的理解

第1章 向量空间

向量空间

1. 带有加法和标量乘法的集合，具有6性质
   1.交换 2.结合 3.加法单位元 4.乘法单位元 5.加法逆 6.分配

2.多项式也是一个向量空间，这个向量空间是无穷维的，每个多项式只是其中的一个点

子空间

封闭性，包含加法单位元0

直和

不相交的子空间相加

第2章 有限维向量空间

张成与线性无关

1.线性无关组张成V 称之为V的基。有限维向量空间中。每个线性无关向量组都可以扩充成一个基。（这个证明包含了一个隐含的假设：每个有限维向量空间V都可以找到一组张成它的向量，为什么？）
2.有限维向量空间基的长度称为向量空间的维数dim，多项式的维数是
$$dim{P}_m(F)=m+1$$

第3章 线性映射

3.1.V到W的映射
$$T:V\to W记作\mathcal{L}(V,W)$$
$$加性T(u+v）=T(u)+T(v)$$ $$齐性T(av）=aTv$$
微分映射
$$T\in \mathcal{L}(\mathcal{P}(\mathbb{R}),\mathcal{P}(\mathbb{R}))$$ $$T\mathcal{P}={\mathcal{P}}^{\prime }$$
积分映射
$$T\in \mathcal{L}(\mathcal{P}(\mathbb{R}),\mathbb{R}))$$ $$T\mathcal{P}={\int }_0^1\mathcal{P}(x)dx$$

.线性映射本身构成向量空间
$$S,T\in \mathcal{L}(v,w)$$$$定义(S+T)v=Sv+Tv$$ $$aTv=(aT)v$$

3.2.零空间
n u l l T = { v ∈ V , T v = 0 } nullT= \{v \in V, Tv = 0\} nullT={v∈V,Tv=0}
它是v的子空间，它有加法单位元，且运算封闭。
映射T是单的(injective)表明映射是一对一的，映射不会被压缩，即零空间只有0。

值域 r a n g e T = { T v : v ∈ V } rangeT=\{Tv:v\in V\} rangeT={Tv:v∈V}
映射T是满的(surjective)，可得
$$rangT=W$$

3.3线性映射的矩阵
$$\begin{array}{l}.....v_k...\end{array}$$

$$\begin{array}{l}\begin{array}{l}{w}_1\\ ....\\ w_m\end{array}\left[\begin{array}{l}...a_{1，k}...\\ ..............\\ ...a_{m，k}...\end{array}\right]\end{array}$$
$$T{v}_k=a_{1,k}{w}_1+a_{2,k}{w}_2+....+a_{m,k}{w}_m$$
把源空间的基转到目标空间后，作为矩阵的列得到的矩阵记为M(T, v, w)
比如：
$$T(x,y)=(x+3y,2x+5y,7x+9y)$$
$$那么T(1,0)=(1,2,7),T(0,1)=(3,5,9)$$，因此T关于标准基的矩阵就是
$$\left[\begin{array}{l}13\\ 25\\ 79\end{array}\right]$$

矩阵本身也可以看作是向量空间的一个元素
定义加法和数乘
$$M(T+S)=M(T)+M(S)$$$$M(cT)=cM(T)$$
下面定义矩阵的乘法，要满足复合映射的规律，即
$$\begin{gathered} T=\mathcal{L}(U,V),S=\mathcal{L}(V,W) \\ 定义ST\in \mathcal{L}(U,W)为 \\ (ST)v=S(Tv),v\in U \end{gathered}$$
$$所以，按照这个定义要是能有M(TS)=M(T)M(S)就最好了$$
按照上述的理想状态，矩阵乘法的每个元素的运算规则也就确定了，书中这里推导了矩阵乘法为什么是这样的。

下面是向量的矩阵， 和映射的矩阵不同
$$\begin{gathered} 设(v_1,....,v_n)是V的基，那么v=b_1{v}_1+...+b_n{v}_n \\ 记v的矩阵M(v)=\left[\begin{array}{l}{b}_1\\ ...\\ b_n\end{array}\right] \end{gathered}$$
$$\begin{gathered} 在这样的定义下，设T\in \mathcal{L}(V,W)，那么M(Tv)=M(T)M(v) \\ 其中M(Tv)和M(v)是向量的矩阵，M(T)是变换的矩阵 \end{gathered}$$

3.4 线性映射是可逆的当且仅当它又是单的又是满的
这两个空间是同构的 isomorphic
$$\begin{gathered} 两个维数相等的向量空间一定同构 \\ 所以每个有限维向量空间都同构于F^n \end{gathered}$$
高能
$$\begin{gathered} 设(v_1,....,v_n)是V的基,设(w_1,....,w_n)是W的基， \\ 那么M是\mathcal{L}(v,w)和Mat(m,n,F)之间的可逆线性映射，即 \\ M(\mathcal{L})=Mat(m,n,F) \end{gathered}$$ $$\begin{gathered} 这里说明一个线性映射，一定对应一个矩阵，反之亦然，这要从与F^n同构的方面理解 \\ 因此dim(\mathcal{L}(v,w))=dim(V)dim(W) \end{gathered}$$因为矩阵的维数是mn

向量空间到自身的映射称为算子
$$\begin{gathered} T:V\to V记为\mathcal{L}(V) \\ 有限维空间的算子单的\to 满的\to 可逆的 \end{gathered}$$

第5章 本征值与本征向量

5.1不变子空间
$$\begin{gathered} T\in \mathcal{L}(V)，U是V的子空间，若\forall u\in U， \\ 都有Tu\in U，则U在T下是不变的 \end{gathered}$$

特征值：
$$\begin{gathered} T\in \mathcal{L}(V)和标量\lambda \in \text{F},如果有非零向量u\in V使得 \\ Tu=\lambda u，则\lambda 为T的特征值eigenvalue \end{gathered}$$
特征向量不能是0向量，特征值可以是0

定理5.6：不同特征值对应的特征向量线性无关
书上的证明用的是反证法，假设特征值不同向量相关，那么把相关的向量v投影到最大无关组中（就是把该向量用无关组表出），再对无关组作用T，再减去Tv。
如何理解呢。我的理解就是一个线性算子对一条线的缩放作用不能有两种形式。假如特征值不同的特征向量线性相关，那么其中一个向量一定可以被其它向量表出，那么这个向量的特征值也适用的其它向量，因此其它向量在这个算子下，有两种拉伸。是矛盾的。

定理5.10 有限维非零复向量空间上的每个算子都有本征值
怎么理解？书上的证明是用T的幂构造出n+1个向量必线性相关，利用代数学基本定理得出。
我总感觉这个证明很像巴拿赫不动点定理的证明，只是它不是压缩映射，而是值域与定义域相等的映射，所以它的结果也没有那么强，没有得到一个不动点，而是得到了一个不动线。在三维空间中的转动得到的就是转轴，二维上的转动就是垂直到平面的虚轴

线性算子的矩阵，
$$\begin{gathered} 算子T\in \mathcal{L}(V)，且(v_1,...,v_n)是是基 \\ 有T{v}_k=a_{1,k}{v}_1+...+a_{n,k}{v}_n \\ 则T关于(v_1,...,v_n)的矩阵是 \end{gathered}$$ $$\begin{array}{l}\left[\begin{array}{l}{a}_{1，1}...a_{1，n}\\ ..............\\ a_{n，1}...a_{n，n}\end{array}\right]\end{array}$$
这个矩阵是对T的描述。注意不要和局部坐标到世界坐标的变换矩阵相混淆，因此坐标变换矩阵并不是描述算子的作用方式，它只是描述变换前后同一个算子的不同表示，算子还是那个算子，因为对空间中的点来说，变换前后那些点并没有发生任何变化。然而这些矩阵都遵从相同的运算法则，可以混合在一起，所以如果我们以相对的观点来看待这个问题的话，坐标系的变化也可以看成坐标不变，而是空间中的点相对变化。因此这么看来又是统一的。

定理 5.13
$$设V是复向量空间，T\in \mathcal{L}(V)，则T关于V某个基有上三角矩阵$$
$$证：由5.10，一定有特征值，将其作为第一列，然后不断在子空间上扩充基，可以保证$$ $$\begin{gathered} T{v}_k\in span(v_1,...,v_k),k=1,...,n \\ 说明每个子空间在T下都是不变的 \end{gathered}$$

定理5.20
$$若T\in \mathcal{L}(V)，有dim(V)个互不相同的本征值，则T关于V的某个基有对角矩阵$$
很好理解，因为不同的特征值对应的特征向量是线性无关的，根据定理5.13，那个上三角矩阵可以简化为对角矩阵

命题5.21
$$\begin{gathered} T\in \mathcal{L}(V)的互不相同的特征值构成了V的一组基 \\ 并且null(T-{\lambda }_{j}I)构成了V的各个不变的子空间 \end{gathered}$$

5.5 实向量空间的不变子空间
定理5.24 在有限维非零实向量空间中，每个算子都有1维或2维的不变子空间
定理5.26 在奇数维实向量空间上，每个算子都有本征值
如何理解：
$$想象{\mathbb{R}}^2上的旋转，转轴是i，不在{\mathbb{R}}^2上，而{\mathbb{R}}^3一定会有有转轴在{\mathbb{R}}^3上，所以一定有特征值$$

第6章 内积空间

内积

$$\begin{gathered} V上的内积是一个函数，它把V中元素每个有序对(u,v)都映射成一个数 \\ <u,v>\in \text{F} \\ 只要这个映射满足5个性质1.正性2.定性(0只有0向量能映射) \\ 3.第一个位置加性，4.第一个齐性 \\ 5.共轭对称性<u,v>=\overline{<v,u>}那么都叫内积。 \end{gathered}$$$$\begin{gathered} 所以可以定义一种<(w_1,...,w_n),(z_1,...,z_n)>=w_1\overline{z_1}+...+w_n\overline{z_n} \\ 这个叫欧几里得内积 \end{gathered}$$
这里为什么是共轭呢，是因为要满足范数是实数的要求，并且把范数平方看作是z和自身的内积
$$||z|{|}^2=<z,z>=z\overline{z}$$
因此有了共轭的需要，仅仅是为了能给向量比大小。

正交

$$<u,v>=0则称u和v正交$$
6.6 柯西-施瓦茨不等式
$$|<u,v>|\le ||u||\cdot ||v||$$
6.7 三角不等式
$$||u+v||\le ||u||+||v||$$
6.7 平行四边形等式
$$||u+v|{|}^2+||u-v|{|}^2=2(||u|{|}^2+||v|{|}^2)$$

规范正交基

定理6.24：每个有限维内积空间都有规范正交基
证明：取V的一个基，对它应用格拉姆-施密特正交过程。就得到

定理6.28
$$设V是复向量空间，并且T\in \mathcal{L}(V),则T关于V的某个规范正交基具有上三角矩阵$$
这其实是5.13的推广，把5.13的基正交化之后，就得到该定理

正交投影与极小化

U 的 正 交 补 U ⊥ U ⊥ = { v ∈ V : < v , u > = 0 , u ∈ U } U的正交补 U^\perp \\ U^\perp= \{ v\in V:<v,u>=0, u\in U\} U的正交补U⊥U⊥={v∈V:<v,u>=0,u∈U}
是由V中与U的每个向量都正交的那些向量的集合。
$$所以V可以写成U和U^{\perp }的直和$$

线性泛函与伴随

$$V上的线性泛函是V到F的线性映射，将向量空间映射到一个数$$
定理6.45：
$$\begin{gathered} 设\phi 是V上的线性泛函，则存在唯一一个向量v\in V, \\ 使得\phi (u)=<u,v>,u\in V \end{gathered}$$
这个定理很像信号与系统中的线性时不变系统的研究方法，找到每个信号的特征信号分解，然后把分解代入系统 ，计算出这些特征信号的响应，那么将这些响应按分解的系数相加，便得到原始信号的响应。
这个定理的证明也是如此：
$$\begin{gathered} 找到V中的规范正交基，代入线性系统\phi 中，得到响应， \\ 这个响应就是(\phi (e_1),...,\phi (e_n)) \\ 然后按分解的系数相加， \\ \phi (u)=<(u{e}_1,...u{e}_n),(\phi (e_1),...,\phi (e_n))> \\ =<\text{u},(\overline{\phi (e_1)}{e}_1,...,\overline{\phi (e_n)}{e}_n)> \\ 所以v=(\overline{\phi (e_1)}{e}_1,...,\overline{\phi (e_n)}{e}_n) \end{gathered}$$
$$因此这个唯一的v就描述了线性系统的性质$$
伴随的定义：
每次看到这里，我都会发出灵魂三问，我是谁，我在哪？这个定义太他妈绕了。我不确定我是否真正理解他的动机，所以把原文抄下来。
$$\begin{gathered} 设T\in \mathcal{L}(V)。T的伴随，记为T^{\ast }，是如下定义的从W到V的函数。 \\ 给定w\in W。考虑V上将v\in V映成<Tv,w>的线性泛函。 \\ 取T^{\ast }w是V中唯一的那个具有下面性质的向量：上述线性泛函是通过与T^{\ast }w内积所给出的(上面保证的唯一性)。 \\ 也就是说T^{\ast }是V中唯一一个满足下面条件的向量: \\ <Tv,w>=<v,T^{\ast }w>,v\in V \end{gathered}$$
伴随是一一对应的，有一个T就对应了T的一个伴随。它和它的伴随将两个空间中的向量进行映射，以保证它们的内积是相等的。

命题6.47
$$如果M是T关于规范正交基的矩阵，那么它的伴随就是它的共轭转置$$

第7章 内积空间上的算子

7.1自伴算子与正规算子

$$自伴算子就是T=T^{\ast }$$
写出它的矩阵就是实对称矩阵。打个比方，它就像是复数域中的实数一样。因此它有很多特征类似于实数
命题7.1：自伴算子本征值都是实的。
$$\begin{gathered} 推论7.3设V是复内积空间T\in L(V)，则T是自伴的当且仅当每个v\in V都有 \\ ＜Tv,v＞\in R \\ 如何理解，因为T是实的，因此Tv不改变v的共轭性，所以在共轭性上 \\ ＜Tv,v＞相当于内积，可以看作{\overline{v}}^{T}Tv的二次型 \end{gathered}$$
$$因此为若对所有v都有＜Tv,v＞=0，那么T=0$$

正规算子
$$\begin{gathered} 若T{T}^{\ast }=T^{\ast }T，那么称为T是正规的 \\ 必有||Tv||=||T^{\ast }v|| \end{gathered}$$第一次看这里的时候有点懵逼，为什么突然给一个正规算子的定义，后来才知道是为了给后面的谱定理作铺垫。人们总想把矩阵对角化，那么什么样的算子可以对角化呢，只有缩放矩阵是对角化的，那么这样的算子不多，更加通用一点的就是正规算子了。正规算子将一个向量在原空间和它的伴随在对偶空间中作变换，长度不变，这说明了什么？说明了正规算子正好由一个旋转矩阵和对角线缩放矩阵组成啊。正规算子和它的伴随中的旋转成分，正好是在对偶空间中镜像的，它不改变向量的长度，而对角缩放矩阵是正好是对标准正交基上的缩放，在对偶空间中它对共轭向量长度的改变是一致的。设想如果不是对角矩阵，那么缩放不在标准正交基，那么共轭量的改变是不是一致的（想象复数，如果不是拉伸两个垂直的坐标轴，那么两个共轭复数的模变化将会不一致）

因此，下面这两条推论就自然而然了
推论7.7：
$$\begin{gathered} 若v是T相应于特征值\lambda 的特征向量， \\ 那么v也是T^{\ast }相应于特征值\overline{\lambda }的特征向量。 \end{gathered}$$

推论7.8：
$$若T是正规的，那么T相应于不同本征值的本征向量是正交的$$

7.2 谱定理

复谱定理
$$\begin{gathered} 设V是复内积空间，且T\in \mathcal{L}(V)， \\ 则V有一个由T的本征向量组成的规范正交基当且仅当T是正规的 \end{gathered}$$
这个定理说明了在复内积空间中，正规算子关于某正交基有对角矩阵，而这个正交基正好是算子的特征向量。

引理 7.12
$$设T\in L(V)是自伴的，则T有本征值$$
这个定理是定理5.10的扩展， 5.10讲的是在复向量空间中任何算子都有本征值，7.12这个定理实用于任何向量空间，但把它条件加强了，算子必须自伴。所以这里需要证明的只有实内积空间。5.10的证明在实内积空间不实用，为什么呢？比如旋转，在实内积空间上没有特征值，它的特征值在虚平面上。但如果想要得到实数域的特征值怎么办，那么就需要有类似实数一样的算子，那就是自伴算子。因此这个定理也很好理解。下面这个实谱定理也很好明白了

实谱定理
$$\begin{gathered} 设V是实内积空间，且T\in \mathcal{L}(V)， \\ 则V有一个由T的本征向量组成的规范正交基当且仅当T是自伴的 \end{gathered}$$

7.3 实内积空间上的正规算子

在处理实内积空间上的算子时，需要算子自伴才能对角化，这样的算子不普适。因此我们也要找一个在实内积空间上类似于复空间上正规的算子。
实内积空间上 的正规算子的矩阵接近于对角矩阵，最多是2x2的分块对角矩阵
$$\begin{array}{l}\left[\begin{array}{l}a-b\\ ba\end{array}\right]\end{array}-b>0$$

7.4 正算子

$$\begin{gathered} 若T是\ast \ast 自伴\ast \ast 的，⟨Tv,v⟩⩾0 \\ 则称T为正的 \end{gathered}$$
这里有一个隐含的条件，就是<Tv,v>是实数，因为它可以和实数比大小。因此T必须是自伴的，它相当于一个正整数的作用。
因此，T有正的且自伴的平方根（且是唯一）
$$有算子S\in \mathcal{L}(V)使得T=S^{\ast }S$$

7.5 等距同构

$$||Sv||=||v||，称S为等距同构$$
$$S为等距同构，那么S^{\ast }S=I$$
等距同构是保范数的，又被称为酉(unitary)算子。可以理解为旋转
定理7.37：
$$\begin{gathered} V是复内积空间，S\in \mathcal{L}V，则S是等距同构当且仅当S的本征值的绝对值都是1， \\ 而且V有一个由S的本征值向量组成的规范正交基 \end{gathered}$$
这是点由谱定理保证了
定理7.38：
$$\begin{gathered} V是实内积空间，则S是等距同构当且仅当V有一个规范正交基使得S关于此基有分块对角矩阵 \\ 每个分块要么是1或-1，要么是2\times 2的旋转矩阵 \end{gathered}$$ $$\begin{array}{l}\left[\begin{array}{l}cos\theta -sin\theta \\ sin\theta cos\theta \end{array}\right]\end{array}$$
这个旋转矩阵的行列式等于1。

7.6 极分解与奇异值分解

7.41 极分解
$$若T\in \mathcal{L}(V)，则有一个等距同构S\in \mathcal{L}(V)使得T=S\sqrt{T^{\ast }T}$$
其中S是旋转，剩下的部分是缩放。
$$\begin{gathered} T^{\ast }T是自伴的，可以把这个看着是算子和自己进行内积，所以它是正的 \\ 可以开平方，开完平方后，得到的算子和原算子对向量的拉伸作用是一致的 \\ 其中旋转部分S和拉伸部分\sqrt{T^{\ast }T}都可以对角化 \\ 但是不一定能关于同一个规范正交基，可能需要两组规范正交基 \end{gathered}$$

奇异值分解SVD
$$\begin{gathered} 奇异值定义为\sqrt{T^{\ast }T}的特征值重复dimNull(\sqrt{T^{\ast }T}-\lambda I)次 \\ 而T^{\ast }T身是正算子，所以它的特征值都是非负实数 \end{gathered}$$ 所以对T的特征值的研究转化为对T的奇异值的研究，变成了非负实数
奇异值分解公式
$$\begin{gathered} Tv=s_1⟨v,e_1⟩f_1+...+s_n⟨v,e_n⟩f_n \\ 其中e是\sqrt{T^{\ast }T}的特征向量，f是S的特征向量 \end{gathered}$$
写成矩阵形式
$$\begin{gathered} \mathcal{M}(T,(e_1,...,e_n),(f_1,...,f_n))= \\ \begin{array}{l}\left[\begin{array}{l}{s}_{1}0\\ ....\\ 0s_n\end{array}\right]\end{array} \end{gathered}$$

第8章 复向量空间上的算子

8.1 广义本征向量

前面章节分析的算子都是比较良好的算子，它们有足够多的本征向量，可以作为T的基。然而在实际应用中，却有很多算子没有足够多的特征值和特征向量。那么这种算子应该如何分解呢。
如果我们从不变子空间的角度出发，把目标空间分解为T的不变子空间。那么在不变子空间里处理问题也就变方便了。前面的正规算子之类的，它们的不变子空间就是特征向量所在的那一条线，就是一维的不变子空间。
$$设T\in \mathcal{L}(V),且\lambda 是T的本征值，对于v\in V,$$
$$若存在j，(T-\lambda I{)}^{j}v=0，则v是T的广义本征向量$$
推论：
$$设T\in \mathcal{L}(V),且\lambda 是T的本征值,则T的相应于\lambda 的广义本征向量之集为$$
$$null(T-\lambda I{)}^{dimV}$$

推论：
$$设N\in \mathcal{L}(V)是幂零的，那么N^{dimV}=0$$

8.2 特征多项式

命题8.18：
$$设V是复向量空间，T\in \mathcal{L}(V),那么T的所有本征值重数和为dimV$$
特征多项式定义：
$$(z-{\lambda }_1{)}^{d_1}...(z-{\lambda }_m{)}^{d_m}$$
其中d是特征值重数

8.20凯莱-哈密顿定理:
$$设V是复向量空间，T\in \mathcal{L}(V),并设q表示T的特征多项式，那么q(T)=0$$
这个定理，书上是用数字归纳法证的。怎么直观点理解，其实就是要理解
$$(T-\lambda I{)}^d这个算子，它的零空间null(T-\lambda I{)}^d$$
是V的一个d维子空间，这个算子产生的作用是将子空间的数据压缩到0中。因此，如果将所有这样的算子相乘，那么自然就是把所有子空间数据都映射到0中去。自然该算子就是0了。
因此
$$null(T-\lambda I{)}^d在T下是不变的子空间，nullP(T)在T下也是不变的$$
因此定理8.23也好理解：
$$设V是复向量空间，T\in \mathcal{L}(V),设{\lambda }_1,...{\lambda }_m是不同本征值$$
$$并且U_1,...,U_m分别是相应的广义本征向量子空间，那么下面命题等价$$
$$1.V=U_1\oplus ...\oplus U_m$$
$$2.每个U_j在T下都是不变的$$
$$3.(T-{\lambda }_{j}I){|}_{U_j}（表示在U_j的不变子空间中），都是幂零的$$

推论8.25：
$$设V是复向量空间，T\in \mathcal{L}(V),那么V有一个由T的广义本征向量组成的基$$
这个推论注意和命题5.21相比较，5.21说的是T所有本征值互不相同，那么由T的本征向量可构成V的基，这里放宽了条件，可以有相同的本征值，但是相同的本征值对应的本征向量是一个多维空间，由这个多维空间的基，组合在一起再构成V的基。

8.4 平方根

8.30 引理
$$设N\in \mathcal{L}(V)是幂零的，则I+N有平方根$$
书上用泰勒展开，再待定系数证

8.5 极小多项式

8.6 约当形

8.40引理
$$设N\in \mathcal{L}(V)是幂零的，那么存在向量v_1,...,v_k\in V使得$$
$$a.(v_1,N{v}_1,...,N^{m(v_1)}{v}_1,...,v_k,N{v}_k,...,N^{m(v_k)}{v}_k)是V的基$$
$$b.(N^{m(v_1)}{v}_1,...,N^{m(v_k)}{v}_k)是nullV的基$$
$$其中m是表示使得N^{m(v)}v\ne 0的最大整数$$
怎么理解：把上面的形式化简一下，说的就是一个向量，交给幂零算子作用m次，只要还没变成0，那么前面每次作用的结果都是线性无关的。为什么这样，我们假设，有一个向量，交给幂零算子作用第m次的结果是前面m-1次的线性组合，那么第m+1次就也可以写成前面m-1次的线性组合，这样可以无穷作用下去，结果就是这个向量让幂零算子作用无穷次还不能等于0。矛盾！

因此，根据引理，幂零算子可以表示成矩阵
$$\begin{array}{l}\left[\begin{array}{l}010\\ ....1\\ 000\end{array}\right]\end{array}$$
就是对角线上方一排1
因此，T可以分解为约当基，即每个分块对角矩阵都是对角线是特征值，上面一排是1

$$\begin{array}{l}\left[\begin{array}{l}{\lambda }_{j}10\\ ....1\\ 00{\lambda }_j\end{array}\right]\end{array}$$