协方差矩阵的定义
设一个随机向量为 x ∈ R N \mathbf{x} \in \mathbb{R}^\mathrm{N} x∈RN，其均值为 x ˉ \bar{\mathbf{x}} xˉ，则令 y = x − x ˉ \mathbf{y} = \mathbf{x} - \bar{\mathbf{x}} y=x−xˉ，则随机向量 x \mathbf{x} x的协方差定义为：
Σ x = [ σ ( x 1 , x 1 ) ⋯ σ ( x 1 , x N ) ⋮ ⋱ ⋮ σ ( x N , x 1 ) ⋯ σ ( x N , x N ) ] ∈ R N × N \Sigma_{\mathbf{x}} = \begin{bmatrix} \sigma(x_1,x_1) & \dotsb & \sigma(x_1,x_N) \\ \vdots & \ddots & \vdots \\ \sigma(x_N,x_1) & \dotsb & \sigma(x_N,x_N) \end{bmatrix} \in \mathbb{R}^{\mathrm{N} \times \mathrm{N}} Σx=⎣⎢⎡σ(x1,x1)⋮σ(xN,x1)⋯⋱⋯σ(x1,xN)⋮σ(xN,xN)⎦⎥⎤∈RN×N
由于 σ ( x i , x j ) = E ( ( x i − x i ˉ ) ( x i − x i ˉ ) ) = E ( y i − y j ) = σ ( y i , y j ) \sigma(x_i,x_j) = \mathrm{E}((x_i - \bar{x_i})(x_i - \bar{x_i})) = \mathrm{E}(y_i - y_j) = \sigma(y_i,y_j) σ(xi,xj)=E((xi−xiˉ)(xi−xiˉ))=E(yi−yj)=σ(yi,yj)，所以 Σ x = Σ y \Sigma_{\mathbf{x}} = \Sigma_{\mathbf{y}} Σx=Σy，即：
Σ y = [ σ ( y 1 , y 1 ) ⋯ σ ( y 1 , y N ) ⋮ ⋱ ⋮ σ ( y N , y 1 ) ⋯ σ ( y N , y N ) ] ∈ R N × N \Sigma_{\mathbf{y}} = \begin{bmatrix} \sigma(y_1,y_1) & \dotsb & \sigma(y_1,y_N) \\ \vdots & \ddots & \vdots \\ \sigma(y_N,y_1) & \dotsb & \sigma(y_N,y_N) \end{bmatrix} \in \mathbb{R}^{\mathrm{N} \times \mathrm{N}} Σy=⎣⎢⎡σ(y1,y1)⋮σ(yN,y1)⋯⋱⋯σ(y1,yN)⋮σ(yN,yN)⎦⎥⎤∈RN×N
另外，协方差矩阵还可以写成如下的形式：
Σ
x
=
E
(
(
x
−
x
ˉ
)
(
x
−
x
ˉ
)
T
)
=
E
(
y
y
T
)
\Sigma_{\mathbf{x}} = \mathrm{E}((\mathbf{x-\bar{\mathbf{x}}})(\mathbf{x-\bar{\mathbf{x}}})^{\mathrm{T}}) = \mathrm{E}(\mathbf{y}\mathbf{y}^{\mathrm{T}})
Σx=E((x−xˉ)(x−xˉ)T)=E(yyT)
此式与上述两式是等价的。各位看官可以自行证明。
协方差矩阵的意义及解释
协方差矩阵的意义及解释可见如下博客，这些博客已经写得非常好了，在此，老夫我就不再重复了。
https://zhuanlan.zhihu.com/p/37609917
2798
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
