协方差矩阵的数学含义及应用

最新推荐文章于 2024-04-22 15:46:37 发布

勤睿

最新推荐文章于 2024-04-22 15:46:37 发布

阅读量6.4k

点赞数 3

分类专栏：算法与模型

算法与模型专栏收录该内容

11 篇文章 0 订阅

订阅专栏

作者：Vicktore
链接：https://www.zhihu.com/question/24283387/answer/523794714
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

协方差矩阵的定义很简单。假设你有n个随机变量 $X_1,\cdots,X_n$ , 你要怎么刻画它们之间的相关性？一个很简单的想法就是考虑所有的配对协方差 $\text{Cov}(X_i,X_j),\,\forall i,j\in\{1,\cdots,n\}$ . 但是这总共有n^2 个数字，实在是有点多。那么有没有一种紧凑的方式可以把这n^2个数字“打包”在一个结构里面呢？

这个时候矩阵语言就是你的朋友。我们刚才考虑的是n个随机变量 $X_1,\cdots,X_n$ ，但我们其实可以把它们“打包”成1个n维的随机向量 $X:=(X_1,\cdots,X_n)^T\in\Bbb R^n$ 。对于随机向量乃至随机矩阵，我们当然也可以谈期望。所以X有一个期望 $\mu:=\Bbb E(X)$ . 我们再来考虑以下随机矩阵的期望

$\Bbb E((X-\mu)(X-\mu)^T)=\Bbb E(XX^T)-\mu\mu^T$

你稍微算算就知道，这个矩阵的第(i,j)个元素恰好就是 $\text{Cov}(X_i,X_j)$ ！也就是说之前我们要用n^2个数字表达的东西，现在只需一个简洁的矩阵表达式就能完全表达。这个简洁的矩阵表达式就是 $X_1,\cdots,X_n$ 的协方差矩阵(covariance matrix).

不要小瞧记号上的简化带来的好处。在很多情况下，它不仅能够帮我们极大地简化计算流程，而且更重要的是能够让我们把原来散乱的n^2个数字 $\text{Cov}(X_i,X_j)$ 之间蕴含的结构看的更加清楚。比如说，假设X的协方差矩阵是 $\Sigma$ 是一个可逆矩阵(也就是正定)，那么由线性代数知识可以很轻易地知道存在一个正交变换 Y=QX 使得Y的协方差矩阵是 $Q\Sigma Q^T=\Lambda$ ，成为一个对角矩阵，这也就是说我对X做一个正交变换，就能把它变成一个两两不相关的一组新的随机变量。这个规律在无数的工程问题(信号处理，多元统计，主成分分析等)中都是重要的理论基础之一。设想一下，假设不用矩阵语言，要从散乱的n^2个协方差数字之中发掘出这个规律会增加多少难度。

综上，协方差矩阵 $\Bbb E((X-\mu)(X-\mu)^T)$ 就是多个随机变量 $X_1,\cdots,X_n$ 之间的协方差的一种矩阵化表述，本质上它和n^2个数字 $\text{Cov}(X_i,X_j)$ 所蕴含的信息无任何区别，但是矩阵化语言的作用在于它能极大地减轻人类(也许计算机也是如此)做计算时的负担，同时也能非常清晰地揭示“一大堆杂乱无章的数字”所蕴含的内在线性结构。

勤睿

关注

3
点赞
踩
17

收藏

觉得还不错? 一键收藏
0
评论
协方差矩阵的数学含义及应用

作者：Vicktore链接：https://www.zhihu.com/question/24283387/answer/523794714来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。协方差矩阵的定义很简单。假设你有n个随机变量 , 你要怎么刻画它们之间的相关性？一个很简单的想法就是考虑所有的配对协方差 . 但是这总共有n^2 个数字，实在是有点多。...
复制链接

扫一扫