线性代数

1.方程组几何解释
1.可以把方程组的系数单独拿出来组成一个矩阵，所以方程组可以写成AX=b，这个矩阵就是A，对于A的很自然的理解就是A可以看成由行组成，也可以看做是由列组成，所以有了行图像和列图像的概念。
2.行图像由矩阵A的行组成，列图像由矩阵A的列组成，所以解方程可以从行图像来解，也可以从列图像来解。从行图像来解是求空间几何之间的交集，而从列图像来解是求空间向量的线性组合（线性代数的本质）。
3.其他：空间由子空间构成，子空间是全空间的子集，在方程组里可以说成是全部解的部分解，如果一个方程无解，可以理解为这个方程本身就是一个子空间，它是全空间的子集，所以它要求的解在另一个子空间，故无解。
2.矩阵消元
高斯消元法：很简单不在叙述。
矩阵相乘的理解：在线性代数里，AB不等于BA，所以AB相乘如何理解呢？从线性代数的角度，就是列空间的角度去考虑，把A看成由列组成，而B是由行组成，这样任何矩阵的相乘就可以理解了，同时理解这句话：左乘相当于行变换，右乘相当于列变换。
3.乘法和逆矩阵
1.矩阵的乘法:5种方式的理解
第1种方式（基础）：如果AB=C，那么C种某元素（i，j）的计算方式是用A的i行与B的j列的点乘。
第2种方式（列方式）：AB=C，那么A与B的i列的乘积为C的i列，即B的i列为A每一列的线性组合的系数，结果就是C的i列。
第3种方式（行方式）：AB=C，那么A的i行与B的乘积为C的I行，
即A的i行为B每一行的线性组合的系数，结果就是C的i行。
第4种方式（重要思想，与列方式类似）：AB=C，把A看成由列组成，B看成由行组成，还是看成AB为A列的线性组合，但是系数不是常数，而是一个向量，这个向量是B的一行。然后分别计算A的列与B的行的乘积，现在这个结果是一个矩阵，而不是一个数，将这些矩阵相加就得到了最后的结果C。
第5种方式：分块思想，分块的矩阵运算方式同以上4种，即一个矩阵里有很多子矩阵，这些子矩阵可以看成组成矩阵的最小单元来处理，但分块之间的矩阵运算要符合基本要求。
2.矩阵的逆：A可逆等价于AX=0只有零解，因为如果A的逆存在，那么A的逆乘以AX=0等式两边，发现EX=0，即X只有零解。因为找不到非零向量X满足等式，就意味着A中的列相互独立。
3.高斯-若尔当思想：就是矩阵分块法在矩阵求逆的应用。
4.A的LU分解
1.矩阵A可以分解为一个下三角矩阵L（lower）和一个上三角矩阵U（upper）的乘积，如何获得？使用高斯消元即可获得。
2.逆和转置两种运算对于同一个矩阵来说可以是交换的
3.置换矩阵：这个矩阵左乘矩阵A可以使得矩阵A的行互换，故称为置换矩阵，3元的置换矩阵有6种，4元置换矩阵有24种，它们总体是一个群，即任何相同维数的置换矩阵相乘，结果还是它们之间的某个矩阵。置换矩阵的特征，它的逆等于它的转置。
14.正交向量与子空间：
1.零空间和行空间是正交的，零空间中的所有向量与行空间垂直。
2.任意矩阵的转置和它本身的乘积是一个很好的矩阵，这个矩阵是对称阵（对称阵隐含它本身是一个方阵）。
15.子空间投影
1.如果AX = b完全正确，这样理解：A为某一列空间（由列向量组成的空间），X是列向量系数，b是在A的列空间中的某个列向量，即b在A的列空间中。
最小二乘思想：
如果AX = b不完全准确，则要求X的估值，计算估值之前首先要找到使AX = b方程正确的b的估计值b0，b0满足方程，故b0一定在A的列空间中，所以解方程可以转换为：在A列空间中找到这样的一条列向量b0，使得b0与b之间的误差e最小，而什么样的b0与b之间的误差最小而且b0还在A的列空间中呢？当然是b向A空间的垂直投影形成的b0为最合适的列向量，因为这时误差向量e（b-b0）垂直于A空间（到A空间的距离最短），这样e值最小。
X估计的计算：
要用到一个对称阵（A的转置与A的乘积，因为A有可能不可逆），A的转置与A的乘积将得到一个长度等于X维度的方阵，如果这个方阵可逆，则可计算X的估值，如果这个方阵不可逆，则显然这个方程组中的方程约束不够，方程组有无穷多解。
经过推导可得常见的投影矩阵，它有2个性质：
性质1：投影矩阵的转置等于本身，因为它本身是一个对称矩阵，值得一提的是任何矩阵的转置乘以它本身是一个对称矩阵。
性质2：投影矩阵的平方等于它本身，可以这样考虑，第一次投影已经使向量或者空间投影到了相应的空间中，再次投影（即相乘第一次投影的结果），结果还是在那个空间中，所以投影矩阵的平方等于它本身。
16.投影矩阵和最小二乘（补充15）
1.A列空间里的任意向量可以表示为表达式：AX，X为A空间列向量的线性组合系数。
2.最小二乘（最小平方和）：
向量e与A的列空间垂直，这样e到A列空间的距离最短（（e=b-b0）的长度最小，e中每个元素的平方和最小）。另外一个问题：我们知道b向A列空间投影，那么b0在A列空间中，那么误差e在哪个空间呢？由于向量e与A的列空间垂直，所以e一定在A转置的零空间（也叫A的左零空间）中，因为A空间与A转置的零空间是相互垂直的。所以求e可以把b投影到A的左零空间中。如果b到A列空间的投影矩阵为P，则b到A的左零空间的投影矩阵为（I-P），因为Pb+（I-P）b = b。
3.如果A的列向量相互独立，那么A的转置乘以A这个方阵可逆，这是最小二乘成立的大前提。证明：如果A的列向量相互独立，那么AX=0的解X只有零向量，因为（A的列向量相互独立，你找不到合适的系数使得A中的列向量相互消掉），如果A的转置乘以A这个方阵可逆，则（A转置A）X=0只有零解，剩下的事就是如何把等式（A转置A）X=0 等价转换为 AX=0，余略。另一种容易理解的解释是从方程个数与未知数之间的关系出发，上面已解释。
17.正交矩阵和Gram-Schmilt正交化
标准正交矩阵：
一定是一个方阵，这样它有逆矩阵，正交矩阵是各个列向量相互垂直的矩阵，且各个列向量的长度为1，每个列向量相当于这个列空间的一个基向量。它有一个重要的性质：它的转置矩阵与它的逆矩阵是一样的。
正交矩阵与投影矩阵的关系：
当Q为方阵时，投影矩阵简化为I，即单位阵，因为这时矩阵维数与变量维数相等，且矩阵可逆，所以无论怎么改变系数因子，变量都在这个列空间中，所以投影后还在这个列空间中，即X有固定解。
当Q不为方阵时，投影矩阵简化为Q*Q的转置
正交矩阵与最小二乘：
方程AX=b，当A为正交矩阵时，X=X的转置*b，还是因为A的转置*A为单位阵的缘故，这种处理方式可以省去求A的逆矩阵，故可以简化计算。
格拉姆-施密特标准正交基：
a、b、c列空间中的三个列向量，目标是在相同的列空间中找到三个新的向量，它们相互垂直，方法是使用投影的方法。a不变，让a为第一个向量，b投影到a上的误差e1向量，e1与a垂直，e1为第二个向量，求第三个向量的方法类似，就是在得到c投影到a上的误差e2向量后，接着将e2投影在b上的误差向量e3，这样e3与a、b都垂直。（误差e求取是投影到a的左零空间，误差e并不在a空间中）
标准正交化后的列空间与原列空间的关系：
它们是相同的列空间，以为所有变换都是在原向量的基础上进行变换，设原列空间为A，变换后的空间为Q，则存在A=QR，R为一个上三角矩阵，为什么？因为这和格拉姆-施密特标准正交化的规则有关。
18.行列式及其性质
重要：只有方阵有行列式和特征值，行列式的所有性质都可以由它的前三个性质推出，它的10个性质如下：
性质1：单位阵的行列式为1。
性质2：交换两行，行列式的值会相反，即乘以一个-1。
**性质3：**a.计算行列式时每一行的公因子可以提取到行列式的外面。b.每一行的向量可以分解为两个子向量之和，整体矩阵的行列式的值等价于分别由两个子向量构成的矩阵的行列式之和。
性质4：如果有两行相等，那么行列式为0。
性质5：某行减去某行的倍数，行列式不变。
性质6：若有一行为0，那么行列式为0。
性质7：行列式等于矩阵的上三角矩阵对角线元素的乘积。
性质8：当且仅当矩阵为奇异阵时行列式为0。
性质9： det（AB）=（detA）*（detB）
性质10： det（A）=det（A的转置）
关于证明：性质4可以由性质2得出；性质5可以由性质2和性质3得出；性质6可由性质3得出（令公因子为0）；性质7可由性质1和性质3得出；性质8可由性质6得出；性质9证明请查阅一些资料；性质10证明思路将矩阵三角化，即先LU分解，即可得知。
20.克拉默法则、逆矩阵、体积：
知识点1：矩阵的逆=矩阵行列式的倒数*矩阵代数余子式的转置
知识点2：克拉默法则，AX=b的解法，由知识点1进行推导，不难得到克拉默法则，即Xi=det（Bi）/detA，Bi为用b替换A中相应的列后的矩阵。
知识点3： detA = volume of box（A的行列式与A的行向量构成的空间体的体积相等），特殊矩阵如：单位矩阵的行列式为1，它的行向量构成的空间体的体积大小为1，标准正交矩阵Q的行列式也为1或-1，因为标准正交矩阵可以化简为单位阵，而这种化简过程不会影响到矩阵的行列式，如果要证明的话也很简单，Q的转置*Q=I（正交矩阵的性质），然后两边取行列式即可得知。
技巧：平行四边形的面积，可以用知识点3的方法求得，它的体积为平行四边形两条边的向量组成的矩阵的行列式。
21.特征值和特征向量：
特征向量：看看定义：AX=aX；AX为A的列空间中的任意向量，在A的作用下，使得AX与它本身X平行（a只是倍数关系），这样的向量叫做特征向量，a叫做特征值。
投影矩阵P的特征向量和特征值：我们知道只有在投影矩阵的列空间的向量X在投影矩阵P的作用下（PX）保持不变，仍然为X。即PX=X，所以我们知道P的一个特征值为1，特征向量为X。我们知道与P垂直的向量X可以使得PX=0，故P的另一个特征值为0。所以投影矩阵的特征值有两个，1和0。
特征值和特征向量的求法： 根据定义AX=aX，所以（A-aI）X=0。其实就是解这个方程。我们知道矩阵A-aI一定是奇异阵，因为如果不是，那么这个方程只有0解，X为0向量。所以矩阵A-aI的行列式为0，所以求a就是令det（A-aI）=0，求出a之后，将a带入原方程（A-aI）X=0，求得X，X为特征向量。
特征值的几个性质：
性质1：特征值的和等于A对角线元的和。
性质2：特征值的积等于A的行列式。
其他：特征值一般满足线性和乘积的关系。如AX1=aX1，BX2=bX2，一般不满足（A+B）X=（a+b）X，因为X1不一定与X2相等。
对称矩阵和和反对称矩阵：
反对称矩阵满足A=-1*A的转置。
知识点：对称矩阵的特征值为实数，反对称矩阵的特征值为虚数。
22.对角化和A的幂：
S为A的特征向量组成的矩阵，那么AS=SV（V为对角阵，证明过程很简单，就是由AX=aX得到），所以A=S*V*（S逆），这有个前提，即S可逆，即S的特征向量互不相关。
一个问题： A的k次方的特征值和特征向量是多少？答案：A的k次方的特征向量与A的特征向量相同，特征值是A的特征值的k倍。求法由AS=SV推导可得。得到一个重要性质：A的k次方=S*（V的k次方）*（S的逆）。
一类问题：如何计算Un = A*Un-1；由上面的性质可以方便的得到Un与U0的关系。在遇到一些问题时可以将其转化为Un = A*Un-1的形式，进而求解。