数值分析：矩阵求逆-奇异性、条件数

http://blog.csdn.net/pipisorry/article/details/52241141

本blog主要内容有：矩阵的奇异性、条件数与病态矩阵、矩阵求逆。

奇异矩阵和非奇异矩阵singular matrix&nonsingular matrix

概念和定义

若n阶矩阵A的行列式不为零，即 |A|≠0，则称A为非奇异矩阵或满秩矩阵，否则称A为奇异矩阵或降秩矩阵。

奇异矩阵是线性代数的概念，就是对应的行列式等于0的方阵。

奇异矩阵和非奇异矩阵的判断和性质

奇异矩阵一定是方阵吗

首先，看这个矩阵是不是方阵（即行数和列数相等的矩

阵。若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。

不过限定在某个知识范围内是指方阵，例如线性代数当中只对方阵进行奇异矩阵的定义。正常来讲是不限定必须是方阵的，比如在奇异值分解当中，用作估计的时候会定义奇异值矩阵不满秩的矩阵为奇异阵，当然就不再限定是方阵。这种情况下矩阵不可求广义逆，即使求莫奈伪逆也要用特殊的方法，另外这种矩阵如果有物理意义的话，往往不满足正交核函数分解的条件。

一个矩阵A非奇异当且仅当：（等价的概念）
A的所有特征值都不为零（lambda=0则|A|=0，只要矩阵A有一个特征值为零，一定是奇异矩阵。即零特征值反映矩阵的奇异性）
或A的行列式不为零，即 |A|≠0（A 为可逆矩阵，也即A的行列式不为零）
或A可逆
或A的秩为n（非奇异矩阵 A满秩，Rank(A)=n；奇异矩阵 A的秩Rank(A)<n）
或A的列向量线性无关

或矩阵方程AX=b有唯一非零解（如果A为奇异矩阵，则AX=b有无穷解或者无解）

或矩阵方程AX=0有且仅有零解（如果A为奇异矩阵，则AX=0有无穷解）
一个非奇异矩阵可表示成若干个初等矩阵之积。
一个矩阵非奇异当且仅当它代表的线性变换是个自同构。Note: 若A为非奇异矩阵，其顺序主子阵Ai（i=1,...,n-1）不一定均非奇异。
如果n 阶方阵A奇异，则一定存在一个n*1阶非零向量X使： X'AX=0；成立。
[更详细的描述ref：张贤达： 矩阵分析与应用 1.7逆矩阵与伪逆矩阵]

注意事项

计量经济学中，当样本容量太少或是当变量间存在完全相关性时会提示“near singular matrix”，意为“近奇异矩阵”。
在信号处理中，当信号协方差矩阵不是奇异矩阵时，则信号不相关或者部分相关。

[ 百度百科：奇异矩阵]
[ What is the difference between a discontinuity and a singularity? - Quora]
皮皮blog

优化有两大难题，一是：局部最小值，二是：ill-co