协方差矩阵行列式为0_分块矩阵及其统计学应用

分块矩阵

若A为阶矩阵，分成四块，使得

则称

为矩阵A的分块表示形式。分块矩阵有以下性质： 

性质1. 分块矩阵的加法

若A和B有相同的分块，则

性质2. 分块矩阵的乘法

若A为矩阵，C为矩阵，则

性质3.分块矩阵的行列式

若和均为方阵，则

(1)若，则其中.

(2)若，则其中.

性质4.分块矩阵的逆

若为可逆矩阵，为方阵，则

(1)若，则

(2)若，则

特别地，当且，我们有

性质5.分块矩阵的正定性

若A是正定的，即，则和均是正定矩阵。

对性质3和4的证明

要证明性质3和4，关键是将分块矩阵变换为对角分块矩阵，即想办法将和变为0子块。为进行说明，可首先考虑的矩阵。

下面将矩阵

变换为对角阵。

如何变换呢？答案很简单，进行初等行列变换即可。将第一行乘以加到第二行，从而将原矩阵的变为0；再将第一列乘以加到第二列即可将原矩阵的变为0。写成矩阵的形式就是：

而对于分块矩阵，我们也可类似操作。将第一行乘以加到第二行，从而将原矩阵的变为0子块；再将第一列乘以加到第二列即可将原矩阵的变为0子块。写成矩阵的形式就是：

左右两边同时取行列式，即得到：

从而得到性质3.

而对于性质4，则在上式两边同时取逆，则得到：

由此可得：

整理后即为性质4.

含义

性质3和性质4表明了非对角阵和对A的行列式和逆的影响。另外还需要注意的是，在A非负定时，

分块矩阵在统计学中的应用

分块矩阵在统计学中起到很重要的作用。实际上，只要涉及到对参数向量或随机向量进行分割时，分块矩阵都扮演重要角色。因而其在回归分析、多元正态分布和多参数极大似然等问题当中都有应用。以下为回归分析为例加以说明。

假定是一元响应变量，是p维自变量，而是q维分量。另外假定分别是和的样本矩阵。同时假定和具有线性关系。即假定模型

成立。为简单起见，假定X是固定设计满足同方差，即。现讨论如何对参数进行估计？

我们可以有两种思路：

1. 只基于做回归拟合，则此时

同时其协方差矩阵为：

2. 基于全部自变量做回归拟合，则此时

则的协方差矩阵为

而 对应的协方差矩阵为

现在问：和谁更有效？对此，我们需要比较和。首先注意到

从而根据分块矩阵的逆，可知：

这表明：对于参数的估计，只基于做回归拟合比基于全部自变量做回归拟合更有效！

既然这样，我们为何还要考虑呢？答案是：除了有效性，我们还关心无偏性！尽管更有效，但它可能是有偏的。实际上，我们有：

上式说明，其偏差依赖于和的相关性，也依赖于的取值。若，即此时真实模型只依赖于，则此时无偏且更有效；若，即真实模型依赖于和，则此时尽管更有效但有偏。

总结起来：

1. 若真实模型只依赖于，则应只基于建模，不需要考虑冗余变量；

2. 若真实模型依赖于和, 则需要同时考虑它们。

在实际中，真实模型是否只依赖我们是不知道的。这就产生了变量选择的需要。尽可能将冗余变量筛除，只保留重要变量，可以提高估计的效率。

如果觉得本文不错，请点赞关注！