【机器学习线性代数】13 提取主成分：矩阵的特征值分解

1.期望与方差

看到这个小标题，读者也许会想，这里不是在讲线性代数么，怎么感觉像是误入了概率统计的课堂？

这里我专门说明一下，在这一讲里，我们的最终目标是分析如何提取数据的主成分，如何对手头的数据进行降维，以便后续的进一步分析。往往问题的切入点就是数据各个维度之间的关系以及数据的整体分布。因此，我们有必要先花点功夫，来梳理一下如何对数据的整体分布情况进行描述。

首先大家知道，期望衡量的是一组变量 X X X取值分布的平均值，我们一般记作： E [ X ] E[X] E[X]，反映的是不同数据集的整体水平。比如，在一次期末考试中，一班的平均成绩是 90 90 90分，二班的平均成绩是 85 85 85分，那么从这两个班级成绩的均值来看，就反映出一班的成绩在总体上要优于二班。

方差这个概念大家也不陌生，方差的定义是 V [ X ] = E [ ( X − μ ) 2 ] V[X]=E[(X-\mu)^2] V[X]=E[(X−μ)2]，其中，μ = E [ X ] \mu=E[X] μ=E[X]，他反映的是一组数据的离散程度。通俗的说就是：对于一组数据，其方差越大，数据的分布就越发散，方差越小，数据的分布就越集中。在一组样本集的方差计算中，我们采用 1 n −