线性代数知识补充

1.矩阵乘法：A B相乘要满足 A的列= B的行

eg:

乘法的性质：结合律：（AB）C=A(BC);分配律：（A+B）C = AC + BC， C（A + B）= CA + CB，k（AB）= (kA)B = A(kB);

                     转置：。  没有交换律。

2.矩阵转置：矩阵的行和列的翻转

   ;  ;

3.对称矩阵：方阵A满足，如果满足 为反对称矩阵。对于任何方阵A都满足 为对称矩阵，为反对称矩阵。

4.矩阵的迹：方阵A对角线的元素之和，称为A的迹，满足

迹的性质：; tr(A + B) = tr(A) + tr(B); tr(AB) = tr(BA); tr(ABC) = tr(BAC) = tr(CAB)，更多矩阵相乘，这个性质也不变，具体证明：

5.线性相关、秩

对于一组向量{x1，x2，...xn} ∈ ,如何向量中的任意向量可以表示为其他向量的线性组合，则称为线性相关，否则为线性无关。

秩的性质：

• 对于 A ∈ ， rank(A) ≤ min(m，n). 如果rank(A) = min(m，n)， 则称A满秩。
• 对于 A ∈ ， rank(A) = rank(AT ).
• 对于 A ∈ ， B ∈ ， rank(AB) ≤ min(rank(A)，rank(B)).
• 对于 A，B ∈ ， rank(A + B) ≤ rank(A) + rank(B)。

6.矩阵的逆

定义：，其中I为单位矩阵。可逆矩阵是方阵，也是满秩的，也称为非奇异矩阵。

矩阵性质： ；  ； =

7.正交矩阵

正交： ；归一化： 

若一个矩阵的所有列都相互正交且都是归一化的，则为正交矩阵。

7.正定矩阵、二次型

二次型：对于方阵A，向量x,被称为二次型。如果对于任意x， > 0,则为正定的， > = 0为半正定的，  < 0，则为负定的。

8.特征值和特征向量

对于方阵A，向量x,有,则为A的特征值，x为A的特征向量

性质：A有几个秩就有几个特征向量；特征值的和为迹；特征值的乘积为det|A|；若A为非奇异矩阵，则为的特征值。

9.Hession矩阵

Hessian Matirx设计到的数学相关点有泰勒公式、极值判断、矩阵特征值及特征向量、二次型等。它应用在牛顿方法、求极值以及边缘检测、消除边缘效应等方面。

10.最小二乘法

在我们研究两个变量（x,y）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1.x2,y2... xm,ym）；将这些数据描绘在x -y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程：  。

对于矩阵A和向量b,我们找一个向量x∈Rn，使得Ax是尽可能接近b，即欧氏范数

展开

取对x的梯度：

得到

https://www.cnblogs.com/hhddcpp/p/5742717.html

未完待续。。。。。