對隨機變數做線性變換後的期望值和協方差

这篇博客讨论了线性变换如何影响随机变量的期望值和协方差。对于矩阵A和向量b作用于随机向量X,期望值遵循线性性质,即E[AX] = AE[X]和E[X+b] = E[X] + b。协方差在经过线性变换后,公式为Cov(AX) = ACov(X)A^T和Cov(X+b) = Cov(X)。这些原理在统计学和概率论中对于理解和处理随机过程至关重要。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

對隨機變數做線性變換後的期望值和協方差

假設 X , b ∈ R n , A ∈ R m × n \textbf{X},b \in \R^n, A \in R^{m \times n} X,bRn,ARm×n,那麼使用 A , b A,b A,b X \textbf{X} X做線性變換後,其期望值如下:

E ⁡ [ A X ] = A E ⁡ [ X ] \operatorname{E}[A\textbf{X}] =A \operatorname{E}[\textbf{X}] E[AX]=AE[X]
E ⁡ [ X + b ] = E ⁡ [ X ] + b E ⁡ 是線性算子 \begin{aligned} \operatorname{E}[\textbf{X}+b] = \operatorname{E}[\textbf{X}]+b && \operatorname{E}\text{是線性算子}\end{aligned} E[X+b]=E[X]+bE是線性算子

參考Covariance of a random vector after a linear transformation,對隨機變數做線性變換後,其共變異數如下:

Cov ⁡ ( A X ) = E ⁡ [ ( A X − E ⁡ [ A X ] ) ( A X − E ⁡ [ A X ] ) T ] = E ⁡ [ ( A X − A E ⁡ [ X ] ) ( A X − A E ⁡ [ X ] ) T ] = E ⁡ [ A ( X − E ⁡ [ X ] ) ( X − E ⁡ [ X ] ) T A T ] = A E ⁡ [ ( X − E ⁡ [ X ] ) ( X − E ⁡ [ X ] ) T ] A T = A Cov ⁡ ( X ) A T \begin{aligned}\operatorname{Cov}(A\textbf{X}) &= \operatorname{E}[(A\textbf{X}-\operatorname{E}[A\textbf{X}])(A\textbf{X}-\operatorname{E}[A\textbf{X}])^T] \\&= \operatorname{E}[(A\textbf{X}-A\operatorname{E}[\textbf{X}])(A\textbf{X}-A\operatorname{E}[\textbf{X}])^T] \\&= \operatorname{E}[A(\textbf{X}-\operatorname{E}[\textbf{X}])(\textbf{X}-\operatorname{E}[\textbf{X}])^TA^T] \\&= A\operatorname{E}[(\textbf{X}-\operatorname{E}[\textbf{X}])(\textbf{X}-\operatorname{E}[\textbf{X}])^T]A^T \\ &= A\operatorname{Cov}(\textbf{X})A^T\end{aligned} Cov(AX)=E[(AXE[AX])(AXE[AX])T]=E[(AXAE[X])(AXAE[X])T]=E[A(XE[X])(XE[X])TAT]=AE[(XE[X])(XE[X])T]AT=ACov(X)AT

Cov ⁡ ( X + b ) = E ⁡ [ ( ( X + b ) − E ⁡ [ X + b ] ) ( ( X + b ) − E ⁡ [ X + b ] ) T ] = E ⁡ [ ( ( X + b ) − ( E ⁡ [ X ] + b ) ) ( ( X + b ) − ( E ⁡ [ X ] + b ) ) T ] = E ⁡ [ ( X − E ⁡ [ X ] ) ( X − E ⁡ [ X ] ) T ] = Cov ⁡ ( X ) \begin{aligned}\operatorname{Cov}(\textbf{X}+b) &= \operatorname{E}[((\textbf{X}+b)-\operatorname{E}[\textbf{X}+b])((\textbf{X}+b)-\operatorname{E}[\textbf{X}+b])^T] \\&= \operatorname{E}[((\textbf{X}+b)-(\operatorname{E}[\textbf{X}]+b))((\textbf{X}+b)-(\operatorname{E}[\textbf{X}]+b))^T] \\&= \operatorname{E}[(\textbf{X}-\operatorname{E}[\textbf{X}])(\textbf{X}-\operatorname{E}[\textbf{X}])^T] \\&=\operatorname{Cov}(\textbf{X})\end{aligned} Cov(X+b)=E[((X+b)E[X+b])((X+b)E[X+b])T]=E[((X+b)(E[X]+b))((X+b)(E[X]+b))T]=E[(XE[X])(XE[X])T]=Cov(X)

其它參考連結:
Linear Transformation of Gaussian Random Variable
Linear transformations and Gaussian random vectors

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值