【CS229笔记】协方差矩阵概念快速回顾
前言
CS229讲到生成学习算法的时候,首先介绍了多元正态分布,然后发现自己对过去的一些基础概念记忆不是很清楚了(例如协方差),因此重新记录一下。如有问题,欢迎斧正。
协方差是什么?
对于单变量(特征)的样本集,我们会选择用样本均值、方差、标准差等等来描述这个样本集。对于多变量(特征)的样本集,我们可以选择对每一个变量分别计算其均值、方差等等。
但是,样本集中的这些变量往往并不是毫无关系的(例如身高和体重存在正相关关系),我们应该在高中阶段就学习过“正相关”、“负相关”这种说法,这个对两个变量之间的关系是一个定性描述。是否存在一种数学语言,能够定量描述两个变量之间的相关性呢?这个东西就是协方差。
协方差如何计算?这个部分在【马同学图解数学】的视频(链接见参考资料)里面给出了一个图形化的说明,个人认为对协方差的理解很有帮助。
协方差矩阵 Σ ∈ R n ∗ n Σ∈R^{n*n} Σ∈Rn∗n是个什么东西?
讲清楚了协方差,协方差矩阵反而就很好理解了。协方差反映的是两个变量之间的相关性,如果我的样本集里面有三个、四个甚至多个变量,怎么办?很简单,我们首先两两选择变量,分开计算他们的协方差,然后利用一个矩阵,存放各个协方差。这个就是协方差矩阵。
假设一共有d个随机变量,也就是说随机变量为
x
1
,
x
2
,
.
.
.
,
x
d
x_1, x_2, ... , x_d
x1,x2,...,xd,那么他们的协方差矩阵长这样(图源参考资料4),不难得出,协方差矩阵是一个对称矩阵:
参考资料
- https://zhuanlan.zhihu.com/p/86624275
- https://www.bilibili.com/video/BV1gY4y187TL/?spm_id_from=333.337.search-card.all.click&vd_source=c78d520ab4e3c395d859ce07512c4461
- https://www.zhihu.com/question/20852004
- https://zhuanlan.zhihu.com/p/37609917