趣味数学： 样本协方差矩阵！！

1. 形象讲讲，样本协方差矩阵

想象你是一位侦探，正在调查城市中不同地点的犯罪案件、交通流量、房价和公园面积之间的关系。你不可能观察到整个城市的所有数据，所以你选取了城市中的30个区域作为样本。

数据收集站

在每个区域，你都收集了四种数据：

• 犯罪率（每千人）
• 交通流量（每小时车辆数）
• 房价（每平方米价格）
• 公园面积（平方公里）

信息中心墙

回到侦探办公室，你在墙上创建了一个大型关系图表。这个图表是一个4×4的网格，就像这样：

              | 犯罪率 | 交通流量 | 房价 | 公园面积 |
--------------|--------|---------|------|----------|
犯罪率        |   A    |    B    |  C   |    D     |
交通流量      |   B    |    E    |  F   |    G     |
房价          |   C    |    F    |  H   |    I     |
公园面积      |   D    |    G    |  I   |    J     |

这个墙上的表格，就是你的样本协方差矩阵。

侦探的笔记本

每个格子里的数字都有特殊含义：

对角线上的笔记（A、E、H、J）

这些数字告诉你每个单独因素的"波动性"。

• 数字大：表示这个因素在不同区域间变化很大
  • 例如：A值很大意味着不同区域的犯罪率差异很大
• 数字小：表示这个因素比较稳定
  • 例如：J值很小意味着不同区域的公园面积都差不多

对角线外的笔记（B、C、D等）

这些数字告诉你两个因素是如何一起变化的。

• 正数：两个因素倾向于同向变化
  • 例如：B是正数，可能表示犯罪率高的地区交通流量也往往较高
• 负数：两个因素倾向于反向变化
  • 例如：C是负数，可能表示犯罪率高的地区房价往往较低
• 接近零：两个因素几乎无关
  • 例如：G接近零，可能表示交通流量与公园面积几乎没有关系

侦探的计算方法

作为一名严谨的侦探，你是这样计算墙上每个格子的值的：

1. 首先计算每个因素的平均值（例如所有区域的平均犯罪率）
2. 对于每个区域，计算各个因素与其平均值的偏差
3. 将每对因素的偏差相乘，然后对所有区域求和
4. 最后除以(n-1)，这里n是你的样本数量（30个区域）

为什么除以(n-1)而不是n？因为你知道，作为侦探，你只观察了部分证据（样本），而不是所有证据（总体）。除以(n-1)使你的估计更准确，这就像是给调查留一点空间以考虑未知因素。

侦探的洞察力

通过这面墙，你可以：

• 识别哪些城市因素互相影响最大
• 预测某些变化可能带来的连锁反应
• 找出可能适合重点调查的区域
• 为城市规划提供数据支持

样本协方差矩阵就像你的侦探墙，它不仅显示了各个因素的波动性，还展示了它们之间潜在的关系网络，帮助你理解这个复杂城市的运作机制。

这个矩阵中的每个数字都是从有限样本中提取的信息，试图推断整个城市的模式，就像一个侦探从有限的线索中推断整个案件的真相。

2. 进一步讲解

样本协方差矩阵的深入形象解释

数据的多维舞蹈

想象我们在观察一场精心编排的舞蹈。这不是普通的舞蹈，而是一场多维度的表演，每个舞者代表一个变量（如身高、体重、年龄、收入）。我们只能看到30位舞者的表演（我们的样本），而不是看到完整的舞团（总体）。

协方差矩阵的建筑结构

1. 大理石地板 - 矩阵的基础结构

样本协方差矩阵就像一个铺着大理石地砖的广场，每块地砖代表两个变量之间的关系。如果有4个变量，我们的广场就是4×4的正方形，共16块地砖。这个广场有一条对角线，从左上角到右下角。

2. 对角线上的喷泉 - 方差

对角线上的每块地砖都有一个喷泉，水柱的高度代表该变量的方差：

• 高耸的水柱表示该变量在样本中波动剧烈
• 矮小的水柱表示该变量相对稳定

例如，如果收入的喷泉很高，表明你观察的30个人中，收入差异非常大。

3. 非对角线上的连接桥 - 协方差

非对角线上的地砖则有连接桥，桥的类型表示两个变量之间的关系：

• 实心桥：表示正协方差，两个变量同向变化
• 虚线桥：表示负协方差，两个变量反向变化
• 几乎看不见的桥：表示接近零的协方差，两个变量几乎无关

桥的粗细表示协方差的绝对值大小，粗的桥表示关系强烈，细的桥表示关系较弱。

矩阵的数学雕塑

现在，让我们看看这个广场是如何建造的：

1. 偏差向量的艺术品

对于每位舞者（样本），我们计算他们与舞团平均水平的偏差。如果一位舞者的身高比平均值高5厘米，体重比平均值重3公斤，年龄比平均值大2岁，收入比平均值高1000元，那么他的偏差向量就是[5, 3, 2, 1000]。

2. 外积的镶嵌画

对于每位舞者，我们将他的偏差向量与自身的转置相乘，形成一个矩阵（称为外积）。这就像为每位舞者创作一幅镶嵌画，描绘他在各个维度上的特点。

例如，第一位舞者的偏差向量是[5, 3, 2, 1000]，其外积是：

[   25,    15,    10,  5000 ]
[   15,     9,     6,  3000 ]
[   10,     6,     4,  2000 ]
[ 5000,  3000,  2000, 1000000]

3. 求和与平均 - 全息图

我们将所有舞者的镶嵌画叠加在一起，然后除以(n-1)（这里是29），得到最终的样本协方差矩阵。这就像是创造了一个全息图，呈现出整个舞蹈的动态模式。

样本协方差矩阵的实际意义

1. 宇宙图谱

样本协方差矩阵就像是变量宇宙的图谱，揭示了变量之间的引力关系：

• 强正协方差：两个变量像双星系统一样一起运动
• 强负协方差：两个变量像相互排斥的磁极
• 零协方差：两个变量像遥远的恒星，互不干扰

2. 投资组合的平衡木

在金融领域，协方差矩阵就像是投资组合的平衡木：

• 高方差的资产代表高风险
• 正协方差意味着资产在相同市场条件下表现相似
• 负协方差提供了分散风险的机会
• 投资组合的总体风险依赖于这个矩阵的结构

3. 机器学习的地形图

在机器学习中，样本协方差矩阵就像是多维空间的地形图：

• 主成分分析(PCA)通过找到这个地形的主要"山脊"来降维
• 马氏距离考虑了这个地形的"起伏"来计算样本间的真实距离
• 分类算法使用这个地形来划分不同类别的边界

4. 多元正态分布的遗传密码

样本协方差矩阵包含了多元正态分布的"遗传密码"，决定了其概率密度函数的形状：

• 对角线元素决定了分布在各个维度上的"伸展程度"
• 非对角线元素决定了分布的"倾斜角度"
• 特征值和特征向量决定了分布的主轴方向和长度

从样本到总体 - 侦探的推理

样本协方差矩阵是对总体协方差矩阵的估计，就像侦探通过有限的线索推断完整的案件。使用(n-1)而不是n作为分母，是为了修正样本估计的偏差，这被称为贝塞尔校正。

这就像是侦探明白自己只能看到部分证据，所以在做判断时会稍微谨慎一些，为未知的可能性留出空间。这种谨慎使得我们的估计更接近真相，即使我们永远无法确切地知道总体的真实情况。

3. 样本协方差矩阵公式讲解

基本定义

样本协方差矩阵是多变量数据分析中的核心概念，用于描述多个随机变量之间的线性关系。对于含有 p 个变量、n 个观测值的样本数据，样本协方差矩阵 S 的公式为：

$$S=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X})(X_i-\bar{X}{)}^T$$

其中：

• $X_i$ 是第 i 个观测值的 p 维列向量
• $\bar{X}$ 是 p 维均值向量
• $(X_i-\bar{X})$ 是 p×1 维列向量
• $(X_i-\bar{X}{)}^T$ 是 1×p 维行向量
• 它们的乘积是 p×p 维的矩阵

公式逐步解析

1. 数据矩阵表示

首先，将样本数据表示为一个 n×p 维的矩阵 X，其中每行是一个观测值，每列是一个变量：

$$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{np}\end{array}\right]$$

2. 计算均值向量

计算每个变量的样本均值，形成均值向量 $\bar{X}$：

$$\bar{X}=\left[\begin{array}{c}{\bar{x}}_1\\ {\bar{x}}_2\\ ⋮\\ {\bar{x}}_p\end{array}\right]=\left[\begin{array}{c}\frac{1}{n}{\sum }_{i=1}^n{x}_{i1}\\ \frac{1}{n}{\sum }_{i=1}^n{x}_{i2}\\ ⋮\\ \frac{1}{n}{\sum }_{i=1}^n{x}_{ip}\end{array}\right]$$

3. 计算偏差矩阵

构造中心化数据矩阵（偏差矩阵）$X_c$，其中每个元素是原始数据减去相应变量的样本均值：

$$X_c=\left[\begin{array}{cccc}{x}_{11}-{\bar{x}}_1& x_{12}-{\bar{x}}_2& \cdots & x_{1p}-{\bar{x}}_p\\ x_{21}-{\bar{x}}_1& x_{22}-{\bar{x}}_2& \cdots & x_{2p}-{\bar{x}}_p\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}-{\bar{x}}_1& x_{n2}-{\bar{x}}_2& \cdots & x_{np}-{\bar{x}}_p\end{array}\right]$$

4. 直接计算样本协方差矩阵

利用偏差矩阵，样本协方差矩阵可以表示为：

$$S=\frac{1}{n-1}{X}_c^T{X}_c$$

这是一个 p×p 维的对称矩阵，其中：

• 对角线元素 $s_{jj}$ 是第 j 个变量的样本方差
• 非对角线元素 $s_{jk}$ 是变量 j 和变量 k 的样本协方差

具体地，矩阵的每个元素 $s_{jk}$ 可以表示为：

$$s_{jk}=\frac{1}{n-1}\sum _{i=1}^n(x_{ij}-{\bar{x}}_j)(x_{ik}-{\bar{x}}_k)$$

向量外积形式的理解

原始公式中的 $(X_i-\bar{X})(X_i-\bar{X}{)}^T$ 是向量外积：

$$(X_i-\bar{X})(X_i-\bar{X}{)}^T=\left[\begin{array}{cccc}(x_{i1}-{\bar{x}}_1{)}^2& (x_{i1}-{\bar{x}}_1)(x_{i2}-{\bar{x}}_2)& \cdots & (x_{i1}-{\bar{x}}_1)(x_{ip}-{\bar{x}}_p)\\ (x_{i2}-{\bar{x}}_2)(x_{i1}-{\bar{x}}_1)& (x_{i2}-{\bar{x}}_2{)}^2& \cdots & (x_{i2}-{\bar{x}}_2)(x_{ip}-{\bar{x}}_p)\\ ⋮& ⋮& \ddots & ⋮\\ (x_{ip}-{\bar{x}}_p)(x_{i1}-{\bar{x}}_1)& (x_{ip}-{\bar{x}}_p)(x_{i2}-{\bar{x}}_2)& \cdots & (x_{ip}-{\bar{x}}_p{)}^2\end{array}\right]$$

对所有样本点的这种外积求和，然后除以 (n-1)，就得到了样本协方差矩阵。

为什么使用 (n-1) 作为分母？

使用 (n-1) 而不是 n 作为分母是为了获得总体协方差矩阵的无偏估计。在多变量情况下，当我们使用样本均值估计总体均值时，实际上失去了一个自由度，因此使用 (n-1) 进行贝塞尔校正。

样本协方差矩阵的性质

1. 对称性：$S=S^T$，即 $s_{jk}=s_{kj}$
2. 半正定性：对于任意非零向量 $v$，都有 $v^{T}Sv\ge 0$
3. 特征值非负：所有特征值 ${\lambda }_i\ge 0$
4. 迹等于总方差：$\text{tr}(S)={\sum }_{j=1}^p{s}_{jj}={\sum }_{j=1}^p\text{Var}(X_j)$

数据标准化与相关系数矩阵

如果将每个变量除以其样本标准差进行标准化，得到的协方差矩阵就是相关系数矩阵 R：

$$R=D^{-1}S{D}^{-1}$$

其中 D 是样本标准差的对角矩阵：

$$D=\left[\begin{array}{cccc}{s}_1& 0& \cdots & 0\\ 0& s_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & s_p\end{array}\right]$$

相关系数矩阵的每个元素 $r_{jk}$ 表示为：

$$r_{jk}=\frac{s_{jk}}{s_j{s}_k}$$

其中 $s_j$ 和 $s_k$ 是变量 j 和变量 k 的样本标准差。

样本协方差矩阵是多变量统计分析的基础，在主成分分析、多元回归、判别分析等方法中起着核心作用。理解其数学形式和计算过程对掌握高级统计方法至关重要。

4. 样本协方差矩阵公式的形象解释

想象你是一位宇宙探索家，正在研究五颗星球的各种属性：温度、大小、重力和大气密度。每颗星球都有这四种特性的测量值，但你无法测量整个宇宙中的所有星球，所以这五颗星球是你的"样本"。

星图绘制过程

第一步：寻找宇宙中心

首先，你需要找到这些星球特性的"中心点"，也就是平均值。例如，五颗星球温度的平均值、五颗星球大小的平均值等等。这就像在宇宙地图上标记一个参考点。

这个中心点可以表示为向量：$\bar{X}=[{\bar{x}}_1,{\bar{x}}_2,{\bar{x}}_3,{\bar{x}}_4]$，分别代表温度、大小、重力和大气密度的平均值。

第二步：计算偏离程度

接下来，你测量每颗星球与这个中心点的"偏离程度"。比如，第一颗星球可能温度高于平均值，大小小于平均值，重力大于平均值，大气密度接近平均值。

用数学表示，第i颗星球的偏离向量是：$(X_i-\bar{X})$

这就像在宇宙地图上，从中心点到每颗星球画一条向量，表示它在四个维度上的偏离方向和距离。

第三步：创造星际关系图谱

现在要进行一个神奇的步骤：对于每颗星球，你将它的偏离向量与自身的转置相乘，形成一个4×4的矩阵，这称为"外积"：

$(X_i-\bar{X})(X_i-\bar{X}{)}^T$

想象这个操作就像是将星球的偏离信息投影到一个特殊的屏幕上，这个屏幕不仅显示每个属性的偏离程度，还显示不同属性之间如何"共同偏离"。

例如，矩阵中的某个元素会告诉你：当温度高于平均值时，重力是否也会高于平均值？

第四步：综合星系模式

最后一步，你将五颗星球各自产生的矩阵叠加在一起，然后除以(5-1)，也就是4：

$$S=\frac{1}{5-1}\sum _{i=1}^5(X_i-\bar{X})(X_i-\bar{X}{)}^T$$

除以4而不是5是为了获得更准确的估计，就像是为了补偿你只观察了宇宙的一小部分。这是统计学的一种校正方法。

结果解读

现在你得到了一个4×4的矩阵，这就是样本协方差矩阵。想象它像一张宇宙地图：

对角线元素：自我认知

矩阵对角线上的元素（左上到右下）告诉你每个属性自身的变化程度（方差）：

• 数值大：这个属性在不同星球间变化很大（如温度差异巨大）
• 数值小：这个属性相对稳定（如重力变化不明显）

非对角线元素：关系网络

非对角线上的元素揭示了不同属性之间的关系（协方差）：

• 正值：两个属性倾向于同向变化（如温度升高，大气密度也升高）
• 负值：两个属性倾向于反向变化（如重力增加，大小减小）
• 接近零：两个属性几乎没有关联（如温度与大小可能无关）

宇宙网络的对称性

这个矩阵是对称的，即位置(i,j)和(j,i)的值相同。这是因为属性A与属性B的关系与属性B与属性A的关系是一样的，就像宇宙中的双向引力。

公式的能量核心

样本协方差矩阵公式的精华在于：

• 它捕捉了多个变量之间复杂的相互关系
• 它使用向量外积优雅地表达了这种关系
• 它通过除以(n-1)而非n来修正估计偏差

这个矩阵是多维数据分析的基础，就像是宇宙探索家手中的星际地图，揭示了变量之间隐藏的关联模式，指引着数据科学的航向。

5. 样本协方差矩阵公式具体详解

想象你是一位城市规划师，正在研究5个不同社区的4个关键指标：

1. 绿地面积（平方米/人）
2. 房价（万元/平方米）
3. 空气质量指数（AQI）
4. 交通便利度（1-10分）

实际数据收集

假设你收集到的数据如下：

社区	绿地面积	房价	空气质量	交通便利度
社区A	12	3.2	75	8
社区B	8	4.5	85	9
社区C	15	2.8	68	6
社区D	5	5.0	95	10
社区E	10	3.8	80	7

计算样本协方差矩阵的步骤

1. 计算每个指标的平均值

首先，我们计算每个指标的平均值：

• 平均绿地面积：(12 + 8 + 15 + 5 + 10) ÷ 5 = 10 平方米/人
• 平均房价：(3.2 + 4.5 + 2.8 + 5.0 + 3.8) ÷ 5 = 3.86 万元/平方米
• 平均空气质量：(75 + 85 + 68 + 95 + 80) ÷ 5 = 80.6 AQI
• 平均交通便利度：(8 + 9 + 6 + 10 + 7) ÷ 5 = 8 分

这个平均值向量 $\bar{X}=[10,3.86,80.6,8]$ 就像是城市的"平衡点"或"中心坐标"。

2. 计算每个社区的偏差向量

接下来，我们计算每个社区在各个指标上与平均值的偏差：

社区A的偏差向量：

• 绿地面积偏差：12 - 10 = 2
• 房价偏差：3.2 - 3.86 = -0.66
• 空气质量偏差：75 - 80.6 = -5.6
• 交通便利度偏差：8 - 8 = 0

社区A的偏差向量：[2, -0.66, -5.6, 0]

同理，我们可以计算其他社区的偏差向量：

• 社区B：[-2, 0.64, 4.4, 1]
• 社区C：[5, -1.06, -12.6, -2]
• 社区D：[-5, 1.14, 14.4, 2]
• 社区E：[0, -0.06, -0.6, -1]

3. 创建"关系映射矩阵"

以社区A为例，我们将其偏差向量与自身的转置相乘：

$$[2,-0.66,-5.6,0{]}^T\times [2,-0.66,-5.6,0]$$

这会生成一个4×4的矩阵：

$$\left[\begin{array}{cccc}4& -1.32& -11.2& 0\\ -1.32& 0.44& 3.7& 0\\ -11.2& 3.7& 31.36& 0\\ 0& 0& 0& 0\end{array}\right]$$

这个矩阵就像社区A的"特征指纹"，展示了各指标之间的相互关系。例如：

• 4（左上角）表示绿地面积自身的偏差平方
• -11.2（第一行第三列）表示绿地面积和空气质量的共同偏差乘积

4. 合并所有社区的关系映射

接下来，我们对所有5个社区的关系映射矩阵求和，然后除以(5-1)=4：

$$S=\frac{1}{4}(\text{社区A的矩阵}+\text{社区B的矩阵}+\text{社区C的矩阵}+\text{社区D的矩阵}+\text{社区E的矩阵})$$

这就得到了最终的样本协方差矩阵。

形象化解读协方差矩阵

假设计算后我们得到的样本协方差矩阵如下：

$$S=\left[\begin{array}{cccc}14.5& -3.5& -27.0& -3.5\\ -3.5& 0.91& 6.9& 0.95\\ -27.0& 6.9& 54.3& 7.5\\ -3.5& 0.95& 7.5& 2.5\end{array}\right]$$

对角线元素：指标波动性

• $S_{11}=14.5$：绿地面积的方差，表示社区间绿地面积差异较大
• $S_{22}=0.91$：房价的方差，相对较小，表示房价变化不太剧烈
• $S_{33}=54.3$：空气质量的方差很大，表示不同社区空气质量差异显著
• $S_{44}=2.5$：交通便利度的方差适中

非对角线元素：指标间关系

• $S_{12}=-3.5$：绿地面积与房价的协方差为负，表明绿地面积高的地方房价往往较低
• $S_{13}=-27.0$：绿地面积与空气质量的协方差为负且绝对值大，表明绿地面积高的地方空气质量指数往往较低（即空气更好，因为AQI越低越好）
• $S_{24}=0.95$：房价与交通便利度的协方差为正，表明房价高的地方交通往往更便利

将矩阵视为城市蓝图

想象这个矩阵是一张城市发展的关系蓝图：

1. 对角线：像是城市各个方面的"能量强度"

   • 绿地和空气质量显示较高的变异性（热点区域）
   • 房价相对稳定（平静区域）

2. 非对角线：像是城市各个方面的"链接通道"

   • 绿地与空气质量之间有一条强烈的负向连接，像是一条宽阔的负能量河流
   • 房价与交通便利度之间有一条细小的正向连接，像是一座小桥

3. 对称性：矩阵的上半部分和下半部分是镜像的，就像城市的南北两区相互映射

实际应用场景

作为城市规划师，这个样本协方差矩阵告诉你：

1. 关键洞察：绿地面积与空气质量有很强的关联，可以作为重点规划方向
2. 预测能力：如果你计划增加某区域的绿地面积，可以预期空气质量会改善
3. 政策制定：房价与交通便利度正相关，可能需要在交通便利区域增加保障性住房
4. 区域分析：根据各区域在这些指标上的表现，可以将城市分类为不同的发展类型

样本协方差矩阵就像是城市的基因图谱，揭示了城市各要素间隐藏的相互关联模式，帮助规划师洞察复杂系统的内在结构，进而做出更科学的城市规划决策。

6. 样本协方差矩阵例子

让我用一个简单且具体的例子来详细解释样本协方差矩阵的计算过程。我们将使用3个学生的3项测试成绩作为数据。

原始数据

假设我们有3名学生在数学、物理和化学三门课程的考试成绩（满分100分）：

学生	数学(X₁)	物理(X₂)	化学(X₃)
学生1	85	78	90
学生2	70	65	75
学生3	95	85	85

我们的目标是计算这些成绩数据的样本协方差矩阵。

计算步骤

步骤1：计算每门课程的平均成绩

首先，计算每门课程的平均分：

• 数学平均分：(85 + 70 + 95) ÷ 3 = 250 ÷ 3 = 83.33
• 物理平均分：(78 + 65 + 85) ÷ 3 = 228 ÷ 3 = 76
• 化学平均分：(90 + 75 + 85) ÷ 3 = 250 ÷ 3 = 83.33

均值向量为：$\bar{X}=[83.33,76,83.33]$

步骤2：计算每个学生成绩的偏差向量

接下来，计算每个学生成绩与平均分的偏差：

学生1的偏差向量：

• 数学偏差：85 - 83.33 = 1.67
• 物理偏差：78 - 76 = 2
• 化学偏差：90 - 83.33 = 6.67

学生1的偏差向量：$X_1-\bar{X}=[1.67,2,6.67]$

学生2的偏差向量：

• 数学偏差：70 - 83.33 = -13.33
• 物理偏差：65 - 76 = -11
• 化学偏差：75 - 83.33 = -8.33

学生2的偏差向量：$X_2-\bar{X}=[-13.33,-11,-8.33]$

学生3的偏差向量：

• 数学偏差：95 - 83.33 = 11.67
• 物理偏差：85 - 76 = 9
• 化学偏差：85 - 83.33 = 1.67

学生3的偏差向量：$X_3-\bar{X}=[11.67,9,1.67]$

步骤3：计算每个学生的外积矩阵

对每个学生，计算偏差向量与其转置的乘积（外积）。

学生1的外积矩阵：

$$[1.67,2,6.67{]}^T\times [1.67,2,6.67]=\left[\begin{array}{c}1.67\\ 2\\ 6.67\end{array}\right]\times \left[\begin{array}{ccc}1.67& 2& 6.67\end{array}\right]$$

计算每个元素：

• (1,1)：1.67 × 1.67 = 2.79
• (1,2)：1.67 × 2 = 3.34
• (1,3)：1.67 × 6.67 = 11.14
• (2,1)：2 × 1.67 = 3.34
• (2,2)：2 × 2 = 4
• (2,3)：2 × 6.67 = 13.34
• (3,1)：6.67 × 1.67 = 11.14
• (3,2)：6.67 × 2 = 13.34
• (3,3)：6.67 × 6.67 = 44.49

学生1的外积矩阵：
$$\left[\begin{array}{ccc}2.79& 3.34& 11.14\\ 3.34& 4& 13.34\\ 11.14& 13.34& 44.49\end{array}\right]$$

学生2的外积矩阵：

$$[-13.33,-11,-8.33{]}^T\times [-13.33,-11,-8.33]$$

计算得到：
$$\left[\begin{array}{ccc}177.69& 146.63& 111.04\\ 146.63& 121& 91.63\\ 111.04& 91.63& 69.39\end{array}\right]$$

学生3的外积矩阵：

$$[11.67,9,1.67{]}^T\times [11.67,9,1.67]$$

计算得到：
$$\left[\begin{array}{ccc}136.19& 105.03& 19.49\\ 105.03& 81& 15.03\\ 19.49& 15.03& 2.79\end{array}\right]$$

步骤4：求和并除以(n-1)

将三个学生的外积矩阵相加：

$$\left[\begin{array}{ccc}2.79& 3.34& 11.14\\ 3.34& 4& 13.34\\ 11.14& 13.34& 44.49\end{array}\right]+\left[\begin{array}{ccc}177.69& 146.63& 111.04\\ 146.63& 121& 91.63\\ 111.04& 91.63& 69.39\end{array}\right]+\left[\begin{array}{ccc}136.19& 105.03& 19.49\\ 105.03& 81& 15.03\\ 19.49& 15.03& 2.79\end{array}\right]$$

计算得到总和矩阵：
$$\left[\begin{array}{ccc}316.67& 255& 141.67\\ 255& 206& 120\\ 141.67& 120& 116.67\end{array}\right]$$

最后，除以(n-1)=(3-1)=2，得到样本协方差矩阵S：
$$S=\frac{1}{2}\times \left[\begin{array}{ccc}316.67& 255& 141.67\\ 255& 206& 120\\ 141.67& 120& 116.67\end{array}\right]=\left[\begin{array}{ccc}158.33& 127.5& 70.83\\ 127.5& 103& 60\\ 70.83& 60& 58.33\end{array}\right]$$

解释样本协方差矩阵

现在，让我们解释这个3×3的样本协方差矩阵：

对角线元素（方差）

• $S_{11}=158.33$：数学成绩的样本方差，表示数学成绩的分散程度
• $S_{22}=103$：物理成绩的样本方差
• $S_{33}=58.33$：化学成绩的样本方差

从这些值可以看出，数学成绩的波动最大，化学成绩的波动最小。

非对角线元素（协方差）

• $S_{12}=S_{21}=127.5$：数学与物理成绩的协方差，正值表示它们正相关
• $S_{13}=S_{31}=70.83$：数学与化学成绩的协方差，也是正值
• $S_{23}=S_{32}=60$：物理与化学成绩的协方差，也是正值

所有协方差都是正值，表明各科成绩之间存在正相关关系：一个学生如果在一门课程上表现好，在其他课程上也倾向于表现好。

数学和物理之间的协方差最大(127.5)，表明这两门课程的成绩关系最紧密。

样本相关系数矩阵

为了更直观地比较变量间的关系强度，我们可以将协方差矩阵标准化为相关系数矩阵。

样本标准差：

• 数学：$\sqrt{158.33}\approx 12.58$
• 物理：$\sqrt{103}\approx 10.15$
• 化学：$\sqrt{58.33}\approx 7.64$

相关系数计算：

• 数学与物理：$\frac{127.5}{12.58\times 10.15}\approx 0.997$
• 数学与化学：$\frac{70.83}{12.58\times 7.64}\approx 0.736$
• 物理与化学：$\frac{60}{10.15\times 7.64}\approx 0.775$

相关系数矩阵：
$$R=\left[\begin{array}{ccc}1& 0.997& 0.736\\ 0.997& 1& 0.775\\ 0.736& 0.775& 1\end{array}\right]$$

这个相关系数矩阵告诉我们，数学和物理成绩几乎完美相关(0.997)，而数学与化学之间的相关性稍弱，但仍然很强(0.736)。

这个简单例子展示了样本协方差矩阵的计算过程和解释方法，帮助我们理解多变量数据之间的关系结构。

10. 样本协方差矩阵公式 发现历史

早期统计学中的协变性概念

协方差的概念可以追溯到19世纪，其历史与现代统计学和概率论的发展密切相关。

高尔顿和皮尔逊的贡献（19世纪末）

弗朗西斯·高尔顿(Francis Galton)在1880年代研究遗传学时，开始探索变量之间的关联性。他观察到父母和子女身高之间存在的关系，提出了"回归均值"的概念，这是协方差思想的早期表现。

卡尔·皮尔逊(Karl Pearson)在1896年正式引入了相关系数，这是标准化的协方差形式。皮尔逊相关系数公式为：

$$r=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum (x_i-\bar{x}{)}^2\sum (y_i-\bar{y}{)}^2}}$$

这实际上是将协方差除以两个变量标准差的乘积。

协方差概念的正式化

费舍尔的贡献（20世纪初）

罗纳德·费舍尔(Ronald Fisher)在20世纪20年代的工作对样本协方差的发展有着决定性的影响。他在发展方差分析(ANOVA)和实验设计时，深入研究了样本统计量的分布特性。

费舍尔在1922年的论文中首次明确区分了总体参数和样本统计量，并注意到使用n而不是(n-1)作为样本方差的分母会导致偏差。这一发现后来扩展到了协方差的计算中。

贝塞尔校正的引入

贝塞尔校正(Bessel’s correction)的名称来源于19世纪德国数学家和天文学家弗里德里希·贝塞尔(Friedrich Bessel)，尽管他并非直接应用于协方差。贝塞尔在天文测量中注意到，当使用样本均值估计未知的总体均值时，样本方差的计算需要除以(n-1)而非n才能得到无偏估计。

这一校正后来被证明同样适用于样本协方差的计算。

多变量统计与协方差矩阵

马哈拉诺比斯的贡献（1930年代）

印度统计学家普拉桑塔·钱德拉·马哈拉诺比斯(Prasanta Chandra Mahalanobis)在1930年代的工作中，进一步发展了多变量统计分析，引入了马氏距离(Mahalanobis distance)，这一距离度量直接基于协方差矩阵。马氏距离考虑了变量之间的相关性，其公式为：

$$d(x,y)=\sqrt{(x-y{)}^T{S}^{-1}(x-y)}$$

其中S是样本协方差矩阵。

协方差矩阵在多变量分析中的应用（1940-1950年代）

哈罗德·霍特林(Harold Hotelling)在1933年发展了主成分分析(PCA)，将协方差矩阵的特征分解用于降维。

威斯哈特(John Wishart)在1928年研究了样本协方差矩阵的分布特性，提出了威沙特分布(Wishart distribution)，描述了从多元正态分布中抽取的样本协方差矩阵的概率分布。

现代公式的标准化

到了20世纪中期，样本协方差矩阵的标准公式已经被广泛接受：

$$S=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X})(X_i-\bar{X}{)}^T$$

其中使用(n-1)作为分母的贝塞尔校正成为了统计学的标准做法。

计算效率的考虑

随着计算机科学的发展，特别是在20世纪60-70年代，对协方差矩阵计算效率的关注增加。替代公式被开发出来，如：

$$S=\frac{1}{n-1}\left(\sum _{i=1}^n{X}_i{X}_i^T-n\bar{X}{\bar{X}}^T\right)$$

这种公式在单次数据遍历中就可以计算出必要的总和，提高了计算效率。

数值稳定性的改进

在20世纪80-90年代，随着大规模数据分析的需求增加，数值计算的稳定性成为一个重要问题。改进的算法被提出，如双遍算法(two-pass algorithm)，它首先计算均值，然后在第二次遍历中计算偏差乘积之和，从而提高了数值稳定性。

现代发展

现代统计软件和机器学习库（如R、Python的NumPy/SciPy、MATLAB等）都实现了高效且数值稳定的协方差矩阵计算方法。这些实现通常考虑了稀疏数据、大规模数据集和并行计算的特殊需求。

协方差矩阵在现代数据科学中的应用已远超其最初的统计目的，成为机器学习、信号处理、量化金融、图像分析等领域不可或缺的工具。

样本协方差矩阵公式的发展反映了统计学思想的演进，从单纯描述两个变量间关系的工具，发展为理解和分析多维数据结构的强大框架。