[2]概率与信息论知识补充

最新推荐文章于 2022-04-03 13:50:14 发布

VIP文章 GrandpaDZB

最新推荐文章于 2022-04-03 13:50:14 发布

阅读量398

点赞数

分类专栏：深度学习笔记

本文链接：https://blog.csdn.net/GrandpaDZB/article/details/116535203

版权

1 散乱的知识点

方差（variance） $Var(X)=EX^2-(EX)^2$
协方差（covariance） $\ Cov(X,Y)=EXY-EX\cdot EY$
协方差接近于零能够表明两个随机变量之间具有很弱的线性关系，但是哪怕协方差为零，也不能排除两者有可能存在非线性关系而相互依赖，即不能证明随机变量之间相互独立。
独立性的考量仍然需要判断 $P(XY)，P(X)\cdot P(Y)$ 的大小关系。
协方差矩阵（covariance matrix） 设向量 $x$ ，第i个分量记为 $x_i$ ，则该向量的协方差矩阵的i，j号元素为 $Cov(x_i,x_j)$ ，i，i号元素，即对角线上的元素为 $Cov(x_i,x_i)=Var(x_i)$ 。
协方差矩阵是由随机向量生成的，也就是说向量的每一个元素都是一个随机变量，协方差矩阵描述了各个元素之间的相关性关系。

~~这里省略了概率统计教材上的最常见的几种分布不唠叨~~

$N(x;\mu,\Sigma)=\sqrt{\frac{1}{(2\pi)^ndet(\Sigma)}}\ exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))$

关注