矩阵论中的常见概念

学校时候学的线性代数都忘光了，总结一下常用的东西

《1》矩阵的行列式

1.  where In is the n × n identity matrix.
2. 
3. 
4. For square matrices A and B of equal size,

                            

1.  for an n × n matrix.
2. If A is a triangular matrix, i.e. ai,j = 0 whenever i > j or, alternatively, whenever i < j, then its determinant equals the product of the diagonal entries:

                     

 

Let A be an arbitrary n×n matrix of complex numbers with eigenvalues , , … ，

                                                         .

The trace tr(A) is by definition the sum of the diagonal entries of A and also equals the sum of the eigenvalues.

 

《2》矩阵的逆

an n-by-n square matrix A is called invertible (also nonsingular or nondegenerate) if there exists an n-by-n square matrix B such that

（定义）

矩阵可逆，又叫矩阵非奇异； 不可逆，又叫矩阵奇异。

A square matrix is singular if and only if  det A =0.

Non-square matrices (m-by-n matrices for which m ≠ n) do not have an inverse. However, in some cases such a matrix may have a left inverse (左逆)or right inverse（右逆）. If A is m-by-n and the rank of A is equal to n, then A has a left inverse: an n-by-m matrix B such that BA = In. If A has rank m, then it has a right inverse: an n-by-m matrix B such that AB = Im.

 

《2.1》逆的性质

det A ≠ 0.

rank A = n.

equation Ax = b has exactly one solution for each b.

The columns of A are linearly independent.

The transpose AT is an invertible matrix .

 

两个线性无关的特征向量：两个特征向量不成倍数关系，或者说特征向量对应的特征值不相等。

可对角化：An n × n matrix A is diagonalizable if and only if the sum of the dimensions of the eigenspaces is n. Or, equivalently, if and only if A has n linearly independent eigenvectors.  当矩阵可对角化的时候，才可以对矩阵进行特征值分解 （Eigen decomposition）

对于不可对角化的方阵，可以进行 Jordan 分解，there is an invertible matrix P such that A = PJP−1 .  Jordan 分解是特征值分解的一般化形式。

 

《2.2》逆的求解

1. LU decomposition which generates upper and lower triangular matrices which are easier to invert

2. Eigen decomposition：If matrix A can be eigendecomposed 且if none of its eigenvalues are zero，  then A is invertible and its inverse is given by

where Q is the square (N×N) matrix whose ith column is the eigenvector  of A and Λ is the diagonal matrix whose diagonal elements are the corresponding eigenvalues, i.e., . Furthermore, because Λ is a diagonal matrix, its inverse is easy to calculate:

3.Cholesky decomposition

If matrix A is positive definite, then its inverse can be obtained as

where L is the lower triangular Cholesky decomposition of A, and L* denotes the conjugate transpose(共轭转置)of L.

 

《3》分块矩阵的逆

If a matrix is partitioned into four blocks, it can be inverted blockwise as follows:

where A, B, C and D have arbitrary size. (A and D must be square, so that they can be inverted. Furthermore, A and D−CA−1B must be nonsingular.[6])

Equivalently,

 

《4》正交矩阵 Orthogonal matrix

In linear algebra, an orthogonal matrix or real orthogonal matrix is a square matrix with real entries whose columns and rows are orthogonal unit vectors (i.e., orthonormal vectors), i.e.

          

性质：

各行是单位向量且两两正交；

各列是单位向量且两两正交；

行列式为1，或者 -1；

 

《5》酉矩阵：Unitary Matrix，正交矩阵复数域的推广

In mathematics, a complex square matrix U is unitary if its conjugate transpose U∗ is also its inverse – that is, if

• |det(U)| = 1.

 

《6》共轭转置矩阵 Conjugate transpose

In mathematics, the conjugate transpose or Hermitian transpose of an m-by-n matrix A with complex entries is the n-by-m matrix A∗ obtained from A by taking the transpose and then taking the complex conjugate of each entry (i.e., negating their imaginary parts but not their real parts). The conjugate transpose is formally defined by：

                         

The complex conjugate of , where a and b are reals, is 

 or , commonly used in linear algebra

 

《7》艾尔米特矩阵：

               =A，即A的共轭转置矩阵等于它本身

显然埃尔米特矩阵是实对称阵的推广。

 

《8》正定矩阵Positive-definite matrix，半正定矩阵 positive semi-definite：

一个n× n的艾尔米特矩阵M是正定的，当且仅当对于每个非零的复向量z，都有z*Mz > 0，则称M为正定矩阵，其中z* 表示z的共轭转置矩阵。当z*Mz > 0弱化为z*Mz≥0时，称M是半正定矩阵

判定定理1：对称阵A为正定的充分必要条件是：A的特征值全为正。

判定定理2：对称阵A为正定的充分必要条件是：A的各阶顺序主子式都为正。

判定定理3：任意阵A为正定的充分必要条件是：A合同于单位阵。

性质：

1.若A为n阶对称正定矩阵，则存在唯一的主对角线元素都是正数的下三角阵L，使得A=L*L′，此分解式称为 正定矩阵的楚列斯基（Cholesky）分解。

2.若A为n阶正定矩阵，则A为n阶可逆矩阵。

半正定矩阵的充分必要条件是：A的特征值非负，即全大于等于0.

 

《9》二次型

More generally, any quadratic function from Rn to R can be written as xTMx + xTb + c where M is a symmetric n × n matrix, b is a real n-vector, and c a real constant. This quadratic function is strictly convex when M is positive definite, and hence has a unique finite global minimum, if and only if M is positive definite.For this reason, positive definite matrices play an important role in optimization problems.