一、 协方差
1、为什么需要协方差
定义:假如有N个样本的集合{
X 1 , X 2 , . . . X N X_1,X_2,...X_N X1,X2,...XN},我们可以定义出以下定义。
标准差是用来描述离散程度,。之所以除以n-1而不是除以n,是因为这样能使我们以较小的样本集更好的逼近总体的标准差,即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。
标准差和方差一般是用来描述一维数据的,协方差就是这样一种用来度量两个随机变量关系的统计量
2、协方差的定义
仿照方差的定义
可以这样定义协方差
来度量各个维度偏离其均值的程度。
两个或者两个以上的随机变量函数的情况
设 Z Z Z是随机变量 X , Y X,Y X,Y的函数 Z = g ( X , Y ) , Z=g(X,Y), Z=g(X,Y),( g g g是连续函数),那么 Z Z Z是一个一维随机变量,若二维随机变量 ( X , Y ) (X,Y) (X,Y)的概率密度为 f ( x , y ) f(x,y) f(x,y),则有, E ( Z ) = E [ g ( X , Y ) ] = ∫ − ∞ + ∞ ∫ − ∞ + ∞ g ( x , y ) f ( x , y ) d x d y E(Z)=E[g(X,Y)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y) dxdy E(Z)=E[g(X,Y)]=∫−∞+∞∫−∞+∞g(x,y)f(x,y)dxdy
若 ( X , Y ) (X,Y) (X,Y)为离散型随机变量,其分布律为 P { X = x i , Y = y j } = p i j , i , j = 1 , 2 , ⋯ , P\{X=x_i,Y=y_j\}=p_{ij},i,j=1,2,\cdots, P{
X=