公式及推导
注意KL散度没有推导完成
信息量
I
(
x
)
=
l
o
g
2
(
1
p
(
x
)
)
=
−
l
o
g
2
(
p
(
x
)
)
I(x) = log_2(\frac{1}{p(x)}) = -log_2(p(x))
I(x)=log2(p(x)1)=−log2(p(x))
其中
I
(
x
)
I(x)
I(x)表示信息量，
p
(
x
)
p(x)
p(x)表示概率
Shannon Entropy(香农熵)
H
(
p
)
=
∑
p
i
I
i
p
i
=
∑
p
i
l
o
g
2
(
1
p
i
)
=
−
∑
p
i
l
o
g
2
(
p
i
)
H(p) = \sum p_i I_i^{p_i}= \sum p_i log_2(\frac{1}{p_i}) = -\sum p_i log_2(p_i)
H(p)=∑piIipi=∑pilog2(pi1)=−∑pilog2(pi)
香农熵是为了解决对信息的量化度量问题，度量一条信息的信息量大小和它的不确定性有直接的关系。
Cross Entropy(交叉熵)
H
(
p
,
q
)
=
∑
p
i
I
i
q
i
=
∑
p
i
l
o
g
2
(
1
q
i
)
=
−
∑
p
i
l
o
g
2
(
q
i
)
H(p,q) = \sum p_i I_i^{q_i} = \sum p_i log_2 (\frac{1}{q_i}) = -\sum p_i log_2 (q_i)
H(p,q)=∑piIiqi=∑pilog2(qi1)=−∑pilog2(qi)
其中，
I
i
q
i
I_i^{q_i}
Iiqi表示后验分布估计。
交叉熵对比了模型的预测结果和数据的真实标签，随着预测越来越准确，交叉熵的值越来越小。
Kullback-Leibler Divergence(KL散度)
D ( p ∣ ∣ q ) = H ( p , q ) − H ( p ) = ∑ p i I i q i − ∑ p i I i p i = ∑ p i l o g 2 ( 1 q i ) − ∑ p i l o g 2 ( 1 p i ) = ∑ p i l o g 2 ( p i q i ) \begin{split} D(p||q) &=H(p,q) - H(p) \\ &= \sum p_i I_i^{q_i} - \sum p_i I_i^{p_i} \\ &= \sum p_i log_2(\frac{1}{q_i}) - \sum p_i log_2(\frac{1}{p_i}) \\ &= \sum p_i log_2(\frac{p_i}{q_i}) \end{split} D(p∣∣q)=H(p,q)−H(p)=∑piIiqi−∑piIipi=∑pilog2(qi1)−∑pilog2(pi1)=∑pilog2(qipi)
Gaussian(Normal) distribution (高斯分布)
f ( x ∣ μ , σ 2 ) = 1 2 π σ 2 e − ( x − μ ) 2 2 σ 2 f(x | \mu, \sigma^2) = \frac{1}{\sqrt{2 \pi \sigma^2}} e^{- \frac{(x - \mu)^2}{2 \sigma^2}} f(x∣μ,σ2)=2πσ21e−2σ2(x−μ)2
狄拉克 δ \delta δ函数
狄拉克δ函数是一个广义函数，在物理学中常用其表示质点、点电荷等理想模型的密度分布，该函数在除了零以外的点取值都等于零，而其在整个定义域上的积分等于1。
δ
(
x
)
=
0
,
(
x
≠
0
)
\delta(x) = 0, (x \neq 0 )
δ(x)=0,(x=0)
∫
−
∞
+
∞
δ
(
x
)
d
x
=
1
\int_{-\infty}^{+\infty} \delta(x)dx = 1
∫−∞+∞δ(x)dx=1
可以算作狄拉克函数进行计算的公式如下，
δ
(
x
)
=
lim
a
→
0
+
1
a
π
e
−
x
2
a
2
\delta(x) = \lim_{a \to 0^+} \frac{1}{a \sqrt{\pi}}e^{-\frac{x^2}{a^2}}
δ(x)=a→0+limaπ1e−a2x2
δ
(
x
)
=
lim
a
→
0
+
1
π
a
a
2
+
x
2
\delta(x) = \lim_{a \to 0^+} \frac{1}{\pi} \frac{a}{a^2 + x^2}
δ(x)=a→0+limπ1a2+x2a
δ
(
x
)
=
lim
k
→
∞
1
π
sin
(
k
x
)
x
\delta(x) = \lim_{k \to \infty} \frac{1}{\pi} \frac{\sin(kx)}{x}
δ(x)=k→∞limπ1xsin(kx)
δ
(
x
)
=
lim
k
→
∞
1
2
π
sin
2
(
k
x
/
2
)
k
(
x
/
2
)
2
\delta(x) = \lim_{k \to \infty} \frac{1}{2\pi} \frac{\sin^2(kx/2)}{k(x/2)^2}
δ(x)=k→∞lim2π1k(x/2)2sin2(kx/2)
推导两个高斯分布的KL散度
K
L
(
N
(
μ
1
,
σ
1
2
)
∣
∣
N
(
μ
2
,
σ
2
2
)
)
=
∫
x
1
2
π
σ
1
2
e
−
(
x
−
μ
1
)
2
2
σ
1
2
l
o
g
1
2
π
σ
1
2
e
−
(
x
−
μ
1
)
2
2
σ
1
2
1
2
π
σ
2
2
e
−
(
x
−
μ
2
)
2
2
σ
2
2
d
x
=
∫
x
1
2
π
σ
1
2
e
−
(
x
−
μ
1
)
2
2
σ
1
2
[
l
o
g
σ
2
σ
1
−
(
x
−
μ
1
)
2
2
σ
1
2
+
(
x
−
μ
2
)
2
2
σ
2
2
]
d
x
\begin{split} KL(N(\mu_1,\sigma_1^2)||N(\mu_2, \sigma_2^2)) &=\int_x \frac{1}{\sqrt{2 \pi \sigma_1^2}} e^{- \frac{(x - \mu_1)^2}{2 \sigma_1^2}} log \frac{\frac{1}{\sqrt{2 \pi \sigma_1^2}} e^{- \frac{(x - \mu_1)^2}{2 \sigma_1^2}}}{\frac{1}{\sqrt{2 \pi \sigma_2^2}} e^{- \frac{(x - \mu_2)^2}{2 \sigma_2^2}}} dx\\ &= \int_x \frac{1}{\sqrt{2 \pi \sigma_1^2}} e^{- \frac{(x - \mu_1)^2}{2 \sigma_1^2}}[log\frac{\sigma_2}{\sigma_1} -\frac{(x - \mu_1)^2}{2 \sigma_1^2} + \frac{(x - \mu_2)^2}{2 \sigma_2^2}]dx \\ \end{split}
KL(N(μ1,σ12)∣∣N(μ2,σ22))=∫x2πσ121e−2σ12(x−μ1)2log2πσ221e−2σ22(x−μ2)22πσ121e−2σ12(x−μ1)2dx=∫x2πσ121e−2σ12(x−μ1)2[logσ1σ2−2σ12(x−μ1)2+2σ22(x−μ2)2]dx
第一项
∫
x
1
2
π
σ
1
2
e
−
(
x
−
μ
1
)
2
2
σ
1
2
l
o
g
σ
2
σ
1
d
x
=
l
o
g
σ
2
σ
1
∫
x
1
2
π
σ
1
2
e
−
(
x
−
μ
1
)
2
2
σ
1
2
d
x
\int_x \frac{1}{\sqrt{2 \pi \sigma_1^2}} e^{- \frac{(x - \mu_1)^2}{2 \sigma_1^2}} log\frac{\sigma_2}{\sigma_1} dx = log\frac{\sigma_2}{\sigma_1} \int_x \frac{1}{\sqrt{2 \pi \sigma_1^2}} e^{- \frac{(x - \mu_1)^2}{2 \sigma_1^2}} dx
∫x2πσ121e−2σ12(x−μ1)2logσ1σ2dx=logσ1σ2∫x2πσ121e−2σ12(x−μ1)2dx
根据狄拉克函数第一项得
l
o
g
σ
2
σ
1
log \frac{\sigma_2}{\sigma_1}
logσ1σ2
第二项
574
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
