线性代数#

前记：看的是<<麻省理工公开课-线性代数>>，非零基础，复习

chapter 1-5

求解线性方程组：从 row picture 的角度理解，寻找 m条曲面的交点；从 column picture的角度理解，寻找 n个向量的线性组合；

矩阵消元：Ax = x1*column1 + x2*column2 + … + xn*columnn；x^TA = x1*row1 + x2*row2+…+xn*rown

矩阵乘法 AB = C：有五种理解的角度，rows of A times columns of B；the combinations of columns of A； the combinations of rows of B；columns of A times rows of B；block matrices multiplication

逆矩阵 ：for square matrices ，A^-1A = AA^-1 = I

矩阵A的LU分解：A = LU = LDU L : lower triangular matrix U : upper triangular matrix 矩阵分解的一种形式

矩阵转置，置换：给出单位矩阵 I 的置换矩阵形式

向量空间：一个向量空间必须在任意向量的线性组合下封闭，向量空间是由一组向量的线性组合生成；常见的向量空间有R^2，R^3

R^2的子空间有：0；过原点的直线；R^2。R^3的子空间有：0；过原点的直线；过原点的平面；R^3。

chapter 6 - 10

列空间和零空间：两个向量空间S 和 P，S∩P 是一个空间，S∪P不是一个空间。列空间是矩阵A的列的线性组合，零空间是矩阵Ax = 0 x的线性组合

求解Ax=0，主变量和特解：对矩阵A进行初等行变换，不改变矩阵A的零空间，得到矩阵A的行阶梯型，标记出主元和自由变量。

free variables = n - rank(A) = the number of special solutions，矩阵A的零空间是这些特殊解的线性组合

求解Ax=b，可行性和解的结构：Ax = b 可解当 b 在矩阵A的列空间中。Ax = b 的解 x = x (in null space) + x (unique solution)

线性相关性，基，维数：vectors x1，…，xn are independent if no combination gives zero vector(except the zero combination)

向量v1,…,vl 生成一个空间意味着这个空间包含了这些向量的所有线性组合。向量空间的一组基是具有线性独立和生成该空间的一系列向量。给定一个空间，该空间的每一组基都具有相同数目的向量个数，向量个数称为该空间的维数

四个基本的子空间 ：column space C(A) in R^m；null space N(A) in R^n；row space C(A^T) in R^n；null space of A^T N(A^T) in R^m

	basis	dimension
C(A)	pivot columns	rank(A)
N(A)	special solutions	free variables = n - rank(A)
C(A^T)	first r rows of R (R = rref(A))	rank(A)
N(A^T)	last m-r rows of E (EA = R)	m - rank(A)

chapter 11 -15

矩阵空间，秩1矩阵：以矩阵代替向量，矩阵的线性组合生成矩阵空间。 rank 1 matrices A = UV^T，分解公式

假设 S P S∩P S∪P 均为空间，则满足 dim(S) + dim(P) = dim(S∩P) + dim(S∪P)

图和网络：graph = {nodes ，edges}，从实际问题得到图以及关联矩阵，关联矩阵来源于实际问题，是描述问题的拓扑结构。

# nodes - #edges + #loop = 1，这适用于所有的图

正交向量和正交子空间：x^Ty = 0，in math the one thing is that you’re supposed to follow the rules，sure，the zero vector is orthogonal to every vector. That subspace S is orthogonal to subspace T means that every vector in S is orthogonal to every vector in T.

row space and null space are orthogonal complements in R^n，and their dimensions add to the whole dimension,Such as column space and null space of A^T.

投影：向量b 在向量a 上的投影为Pb，P = aa^T/a^Ta，其中P为投影矩阵，满足 P^T = P，P^2 = P 这两条性质。

当 Ax=b 无解时，需要投影。求解 Axhat = p，其中 p 是 b 在C(A)上的投影

分解得到式子：A^T(b - Axhat) = 0,得到 最优解 xhat = (A^TA)^-1A^Tb，投影向量 p = Axhat = A(A^TA)^-1A^Tb，投影矩阵P = A(A^TA)^-1A^T，满足 P^T = P，P^2 = P 这两条性质

chapter 16 - 20

投影矩阵例题讲解，最小二乘法与投影矩阵之间的关系：对于 Ax = b，求解 A^TAxhat = A^Tb 这个方程的得到最优解，其中A需要列满秩，才能保证A^TA的逆矩阵存在。

正交矩阵和施密特正交化：正交矩阵Q一般为方阵，则满足 Q^T = Q^-1，所以矩阵Q的列空间上的投影矩阵P = Q(Q^TQ)^-1Q^T = QQ^T，施密特正交化得到矩阵A的第二种分解模型：A = QR

行列式及其性质：均为基础内容，不做过多复述

行列式公式及其代数余子式：行列式按行展开，按列展开，

行列式应用：克拉默法则 (中看不中用 计算量过大) 逆矩阵 ：A^-1 = (1/det A)C^T 计算特定图形的体积

chapter 21-25

特征值和特征向量：对于方阵，Ax = λx，特征向量理解为：存在一个向量x，矩阵A作用于x得到新向量与x平行。注意：trace(A) = Σλ，det A = λ1 * λ2*…*λn，特征值和特征矩阵得求解遵循一定的规则。

对角化和矩阵乘幂：A = S*diag(λ)*S^-1，S^-1AS = diag(λ) ，矩阵分解第三种的特殊形式，可以得到 A^k = S*diag(λ)^k*S^-1，对于矩阵A，找到它的特征值和特征矩阵很关键。

微分方程和 exp(At) ： 2*2矩阵的稳定性 real(λ1) < 0 and real(λ2) < 0

马尔科夫矩阵：满足 所有元素大于等于0 和 每一列加和值等于1 这两条性质的矩阵，这种矩阵对于研究 Uk+1 = AUk 这种问题很有意义，举例 人口迁移模型

对称矩阵：对于实对称矩阵，特征值为实数，特征向量能够正交化，则 A= Q*diag(λ)*Q^-1 = Q*diag(λ)*Q^T，称为谱定理，实对称矩阵在实际问题中是一种很强的条件，大多数的实际问题矩阵不满足实对称性质，所以我们经常研究 A^TA 这个矩阵。每一个对称矩阵是正交投影矩阵的组合，主元的符号和特征值的符号相同，即 # positive pivots = # positive eigenvalues

正定矩阵：首先是对称矩阵，满足以下三条性质：所有特征值非负，所有主元非负，所有子行列式非负

chapter 26-34

复矩阵：复向量正交条件：x^Hy = 0，复矩阵对称：A^H = A，复正交矩阵：Q^HQ = I，在复矩阵的基础上，给出傅里叶矩阵的形式，以及快速傅里叶分解

正定矩阵：研究配方法，以及正定矩阵的性质

相似矩阵：矩阵A和B相似，即A = M^-1BM，矩阵分解的第三种形式，所以 A和B有相同的特征值和相同数量的特征向量。讨论了特殊情况下，矩阵不能相似，并给出若尔当矩阵这一重要形式

奇异值分解SVD：A = UΣV^T，矩阵分解的第四种形式，在矩阵研究中具有重要意义。记住矩阵奇异值分解的过程。

线性变换及对应矩阵：理解线性变换的关键是找到在线性变换之后的矩阵，这才是线性变化的本质。

基变换和图形压缩：标准基，傅里叶基，小波基。了解图像压缩的过程。

左右逆和伪逆：了解知识。

后记：这才只是第一步。