![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
概率论
杰克121
balbala
展开
-
KL散度 kl divergence
KL散度也叫KL距离 也叫相对熵 relative entropy。是描述两个概率分布P和Q差异的一种方法。它是非对称的,这意味着D(P||Q) ≠ D(Q||P)。特别的,在信息论中,D(P||Q)表示当用概率分布Q来拟合真实分布P时,产生的信息损耗,其中P表示真实分布,Q表示P的拟合分布。 离散随机变量的两个概率分布P、Q的KL散度定义为: 连续随机变量P,Q的KL散度定义为:原创 2017-03-01 21:06:13 · 1747 阅读 · 0 评论 -
概率论PRML
1.2 概率论 加法率: P(X)=∑YP(X,Y)P(X)=∑YP(X,Y) 乘法率: P(X,Y)=P(Y|X)P(X)=P(Y,X)=P(X|Y)P(Y)P(X,Y)=P(Y|X)P(X)=P(Y,X)=P(X|Y)P(Y) 由乘法率可得 Bayes 公式: P(Y|X)=P(X|Y)P(Y)P(X)P(Y|X)=P(X|Y)P(Y)P(X转载 2017-03-18 17:13:42 · 993 阅读 · 0 评论