CS231n中线性代数相关笔记1【自用】-方差/标准差/协方差

1.方差（Deviation）

定义：用于衡量一组数据的离散程度，用来计算每一个变量（观察值）与总体均值之间的差异。

u为均值，N为总体数量，X为变量（观察值）

2.标准差（Standard Deviation）

定义：标准差就是差平方的算术平均数的算术平方根。也被称为标准偏差、实验标准差，在概率统计中最常使用作为统计分布程度上的测量依据。

3.协方差（Covariance）

（1）定义

• 在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。

• 协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。第二个公式图更容易理解定义。

• 两个变量的协方差为正值的情况：如果两个变量的变化趋势一致，即其中一个大于自身的期望值，另外一个也大于自身的期望值

• 两个变量的协方差为负值的情况：如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

（2）注意

• 针对一维样本集合时，求出的协方差就是方差，如上述中的：方差是一种特殊的协方差。
  下列公式中，对于一维样本可以将yi看作xi，y的均值看作x的均值
• 针对二维样本集合时，求出的协方差就是两个维度之间的相关性，正相关、负相关或者无相关。
• 针对于三维样本集合时，求出的是各个维度总体的相关性，针对各个维度之间的关系。二维以上计算的协方差就是协方差矩阵。

（3）协方差矩阵

对多维数据的相关性进行分析，需要用到协方差矩阵。下图是up主嗨哥视频讲解的截图，比较直观。其中，E12=0x24+24x30+（-6）x0+（-6）x0+（-36）x（-30）。以此类推。

关于协方差矩阵更详细的见主成分分析篇