协方差（矩阵）、特征向量和PCA（Principal Component Analysis，主成分分析）

一、约定---从机器学习（Machine Learning）角度：

样本集（数据集）：

单个样本（观测值）：

维度（变量）：

上标表示样本序号，下标表示样本的维度序号或特征序号样本实例一般表示为列向量，样本总数为，样本特征维度数为。

 

二、协方差（矩阵）、特征值和特征向量的定义

协方差：表示所有样本对应两个维度之间的关系。

协方差矩阵：其每一个元素对应的是相应维度的协方差值。

设样本维度数为3，即n=3.