前记:看的是<<麻省理工公开课-线性代数>>,非零基础,复习
chapter 1-5
求解线性方程组:从 row picture 的角度理解,寻找 m条曲面的交点;从 column picture的角度理解,寻找 n个向量的线性组合;
矩阵消元:Ax = x1*column1 + x2*column2 + … + xn*columnn;x^TA = x1*row1 + x2*row2+…+xn*rown
矩阵乘法 AB = C:有五种理解的角度,rows of A times columns of B;the combinations of columns of A; the combinations of rows of B;columns of A times rows of B;block matrices multiplication
逆矩阵 :for square matrices ,A^-1A = AA^-1 = I
矩阵A的LU分解:A = LU = LDU L : lower triangular matrix U : upper triangular matrix 矩阵分解的一种形式
矩阵转置,置换:给出单位矩阵 I 的置换矩阵形式
向量空间:一个向量空间必须在任意向量的线性组合下封闭,向量空间是由一组向量的线性组合生成;常见的向量空间有R^2,R^3
R^2的子空间有:0;过原点的直线;R^2。R^3的子空间有:0;过原点的直线;过原点的平面;R^3。
![](https://i-blog.csdnimg.cn/blog_migrate/7d3de6a503d360cb2849d103c8b32ec6.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/d6deafb00dea7f38e97aae4640085438.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/e6218cbbd60fb75e7429db24c3e40b99.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/ddb5076c21f64c761f984490a89d7521.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/bd419ee6da1fdf7c5c3ed3d6bf02beb9.jpeg#pic_center)
chapter 6 - 10
列空间和零空间:两个向量空间S 和 P,S∩P 是一个空间,S∪P不是一个空间。列空间是矩阵A的列的线性组合,零空间是矩阵Ax = 0 x的线性组合
求解Ax=0,主变量和特解:对矩阵A进行初等行变换,不改变矩阵A的零空间,得到矩阵A的行阶梯型,标记出主元和自由变量。
free variables = n - rank(A) = the number of special solutions,矩阵A的零空间是这些特殊解的线性组合
求解Ax=b,可行性和解的结构:Ax = b 可解当 b 在矩阵A的列空间中。Ax = b 的解 x = x (in null space) + x (unique solution)
线性相关性,基,维数:vectors x1,…,xn are independent if no combination gives zero vector(except the zero combination)
向量v1,…,vl 生成一个空间意味着这个空间包含了这些向量的所有线性组合。向量空间的一组基是具有线性独立和生成该空间的一系列向量。给定一个空间,该空间的每一组基都具有相同数目的向量个数,向量个数称为该空间的维数
四个基本的子空间 :column space C(A) in R^m;null space N(A) in R^n;row space C(A^T) in R^n;null space of A^T N(A^T) in R^m
basis | dimension | |
---|---|---|
C(A) | pivot columns | rank(A) |
N(A) | special solutions | free variables = n - rank(A) |
C(A^T) | first r rows of R (R = rref(A)) | rank(A) |
N(A^T) | last m-r rows of E (EA = R) | m - rank(A) |
![](https://i-blog.csdnimg.cn/blog_migrate/2231b3539a344855c7e42f6b2151aa62.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/18daa03d99518102eb1a78fc7c04b6e7.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/961e9e933742e266dbdf204ab5896908.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/7e16261dd27b1716dabadfeb39c8624b.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/cb53a44c0e5bb3e15376b92f8cb73618.jpeg#pic_center)
chapter 11 -15
矩阵空间,秩1矩阵:以矩阵代替向量,矩阵的线性组合生成矩阵空间。 rank 1 matrices A = UV^T,分解公式
假设 S P S∩P S∪P 均为空间,则满足 dim(S) + dim(P) = dim(S∩P) + dim(S∪P)
图和网络:graph = {nodes ,edges},从实际问题得到图以及关联矩阵,关联矩阵来源于实际问题,是描述问题的拓扑结构。
# nodes - #edges + #loop = 1,这适用于所有的图
正交向量和正交子空间:x^Ty = 0,in math the one thing is that you’re supposed to follow the rules,sure,the zero vector is orthogonal to every vector. That subspace S is orthogonal to subspace T means that every vector in S is orthogonal to every vector in T.
row space and null space are orthogonal complements in R^n,and their dimensions add to the whole dimension,Such as column space and null space of A^T.
投影:向量b 在向量a 上的投影为Pb,P = aa^T/a^Ta,其中P为投影矩阵,满足 P^T = P,P^2 = P 这两条性质。
当 Ax=b 无解时,需要投影。求解 Axhat = p,其中 p 是 b 在C(A)上的投影
分解得到式子:A^T(b - Axhat) = 0,得到 最优解 xhat = (A^TA)^-1A^Tb,投影向量 p = Axhat = A(A^TA)^-1A^Tb,投影矩阵P = A(A^TA)^-1A^T,满足 P^T = P,P^2 = P 这两条性质
![](https://i-blog.csdnimg.cn/blog_migrate/b7b6e9cbc3ca259ba3bf93e4c5802eec.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/12fa3f21e4632b4d52746cb27df0d8b3.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/6bd0c46e27146631d93b9308b52c154c.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/cd7da4a7dba1c19a3413353cb1a5a4ec.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/cfc0364a962b23a5db3fc839599746aa.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/46644c71c540dbda4a48a2b9012ce825.jpeg#pic_center)
chapter 16 - 20
投影矩阵例题讲解,最小二乘法与投影矩阵之间的关系:对于 Ax = b,求解 A^TAxhat = A^Tb 这个方程的得到最优解,其中A需要列满秩,才能保证A^TA的逆矩阵存在。
正交矩阵和施密特正交化:正交矩阵Q一般为方阵,则满足 Q^T = Q^-1,所以矩阵Q的列空间上的投影矩阵P = Q(Q^TQ)^-1Q^T = QQ^T,施密特正交化得到矩阵A的第二种分解模型:A = QR
行列式及其性质:均为基础内容,不做过多复述
行列式公式及其代数余子式:行列式按行展开,按列展开,
行列式应用:克拉默法则 (中看不中用 计算量过大) 逆矩阵 :A^-1 = (1/det A)C^T 计算特定图形的体积
![](https://i-blog.csdnimg.cn/blog_migrate/d9b75f8ec9bc1d76fcec948964934aeb.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/f325c585ebe0e3189730c0df7b62ef75.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/2356de295a63f97e52f985a95848ebe1.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/e279ce994b6afd8f4bb5db2f105c6da8.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/0a82e0c539df6e44c81129f6a5a01076.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/e01d00b2bf05f6c190a88a391e08287d.jpeg#pic_center)
chapter 21-25
特征值和特征向量:对于方阵,Ax = λx,特征向量理解为:存在一个向量x,矩阵A作用于x得到新向量与x平行。注意:trace(A) = Σλ,det A = λ1 * λ2*…*λn,特征值和特征矩阵得求解遵循一定的规则。
对角化和矩阵乘幂:A = S*diag(λ)*S^-1,S^-1AS = diag(λ) ,矩阵分解第三种的特殊形式,可以得到 A^k = S*diag(λ)^k*S^-1,对于矩阵A,找到它的特征值和特征矩阵很关键。
微分方程和 exp(At) : 2*2矩阵的稳定性 real(λ1) < 0 and real(λ2) < 0
马尔科夫矩阵:满足 所有元素大于等于0 和 每一列加和值等于1 这两条性质的矩阵,这种矩阵对于研究 Uk+1 = AUk 这种问题很有意义,举例 人口迁移模型
对称矩阵:对于实对称矩阵,特征值为实数,特征向量能够正交化,则 A= Q*diag(λ)*Q^-1 = Q*diag(λ)*Q^T,称为谱定理,实对称矩阵在实际问题中是一种很强的条件,大多数的实际问题矩阵不满足实对称性质,所以我们经常研究 A^TA 这个矩阵。每一个对称矩阵是正交投影矩阵的组合,主元的符号和特征值的符号相同,即 # positive pivots = # positive eigenvalues
正定矩阵:首先是对称矩阵,满足以下三条性质:所有特征值非负,所有主元非负,所有子行列式非负
![](https://i-blog.csdnimg.cn/blog_migrate/468c5aa7341c713d16245a8a1d62c4b0.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/47c724504d013c26966af5bba3d63135.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/2c8232be5376014c54771d36075147b1.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/cd31e015615edb041c1d3a0ff41ba79d.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/45cb86439a244cc5e4df281c4a18e184.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/9a4d73252a58f8ac7e72725947903460.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/81e1d0c2616a2c2efbb015a168756425.jpeg#pic_center)
chapter 26-34
复矩阵:复向量正交条件:x^Hy = 0,复矩阵对称:A^H = A,复正交矩阵:Q^HQ = I,在复矩阵的基础上,给出傅里叶矩阵的形式,以及快速傅里叶分解
正定矩阵:研究配方法,以及正定矩阵的性质
相似矩阵:矩阵A和B相似,即A = M^-1BM,矩阵分解的第三种形式,所以 A和B有相同的特征值和相同数量的特征向量。讨论了特殊情况下,矩阵不能相似,并给出若尔当矩阵这一重要形式
奇异值分解SVD:A = UΣV^T,矩阵分解的第四种形式,在矩阵研究中具有重要意义。记住矩阵奇异值分解的过程。
线性变换及对应矩阵:理解线性变换的关键是找到在线性变换之后的矩阵,这才是线性变化的本质。
基变换和图形压缩:标准基,傅里叶基,小波基。了解图像压缩的过程。
左右逆和伪逆:了解知识。
![](https://i-blog.csdnimg.cn/blog_migrate/cab429010db9476bd9f1904e905a7a87.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/e14babd0377027a91e073e4b69b178f7.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/bb29a796d1ec822b03f581e4c035a353.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/91eaeae6012e3d352e57ec475726d85d.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/c9ad70c1f70bd5df5093ee32a54f1305.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/3bf784b78226e17f6248d7cf0f452616.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/608681722d4800f10b0515fe86e9861b.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/933053414e8fb388284ee96ae6719690.jpeg#pic_center)
![](https://i-blog.csdnimg.cn/blog_migrate/bc0e30d03d4f1f988fa81390c3d332f7.jpeg#pic_center)
后记:这才只是第一步。