![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计、散度、熵
昕晛
这个作者很懒,什么都没留下…
展开
-
散度Divergence
熵Entropy and 散度DivergenceShannon信息量信息量也称为Shannon信息量,常用于刻画消除随机变量x在xix_ixi处的不确定性所需的信息量的大小。假设考虑离散型随机变量的情况,设p为随机变量x的概率分布,即p(xi)p(x_i)p(xi)为随机变量x在x=xix=x_ix=xi处的概率密度函数值,则随机变量x在x=xix=x_ix=xi处的Shannon信...原创 2020-01-07 23:44:55 · 1094 阅读 · 0 评论 -
多变量t分布的KL散度
多变量t分布的KL散度多变量学生t分布(简称多变量t分布,也称多元t分布,Multivariate t distribution)的定义如下:f(x)=Cn(detΣ)−1/2[1+1ν(x−μ)TΣ−1(x−μ)]−(ν+n)/2f(\mathbf{x})=C_n(\det \Sigma)^{-1/2}[1+\frac{1}{\nu}(\mathbf{x}-\mu)^T\Sigma^{-...原创 2020-01-07 00:44:05 · 1893 阅读 · 0 评论 -
多变量高斯分布的KL散度
多变量高斯分布的KL散度假设多元变量xxx服从多元变量高斯分布(也称为多变量高斯分布,multivariate Gaussian distribution),即x∼N(μ,Σ)x\sim \mathcal{N}(\mu,\Sigma)x∼N(μ,Σ),其中μ\muμ为均值,Σ\SigmaΣ为协方差矩阵,则多变量高斯分布的概率密度函数PDF定义为f(x)=1(2π)N(detΣ)12exp{...原创 2020-01-06 23:15:13 · 1368 阅读 · 3 评论 -
单变量高斯分布的KL散度
单变量高斯分布的概率密度函数(Probability Density Function,PDF)定义如下:f(x)=12πσ2exp{−(x−μ)22σ2}f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}f(x)=2πσ21exp{−2σ2(x−μ)2}上式表示变量x∼N(...原创 2020-01-06 22:35:58 · 1277 阅读 · 2 评论