entropy
熵
H ( X ) = − ∑ x ∈ X p ( x ) l o g 2 p ( x ) H(X)=-\sum_{x \in X}p(x) log_2p(x) H(X)=−x∈X∑p(x)log2p(x)
联合熵
H ( X , Y ) = − ∑ x ∈ X ∑ y ∈ Y p ( x , y ) l o g 2 p ( x , y ) H(X,Y)=- \sum_{x \in X} \sum_{y \in Y}p(x,y) log_2p(x,y) H(X,Y)=−x∈X∑y∈Y∑p(x,y)log2p(x,y)
条件熵
H ( X ∣ Y ) = − ∑ x ∈ X ∑ y ∈ Y p ( x , y ) l o g 2 p ( x ∣ y ) H(X|Y)=- \sum_{x \in X} \sum_{y \in Y } p(x,y) log_2 p(x|y) H(X∣Y)=−x∈X∑y∈Y∑p(x,y)log2p(x∣y)
注： 连锁规则
H
(
X
,
Y
)
=
H
(
X
)
+
H
(
Y
∣
X
)
H(X,Y)=H(X)+H(Y|X)
H(X,Y)=H(X)+H(Y∣X)
H
(
X
,
Y
)
=
H
(
Y
)
+
H
(
X
∣
Y
)
H(X,Y)=H(Y)+H(X|Y)
H(X,Y)=H(Y)+H(X∣Y)
熵率
H r a t e = − 1 N ∑ x ∈ X p ( x ) l o g 2 p ( x ) H_{rate}=- \frac{1}{N} \sum_{x \in X}p(x) log_2p(x) Hrate=−N1x∈X∑p(x)log2p(x)
相对熵
D ( p ∣ ∣ q ) = ∑ x ∈ X p ( x ) l o g 2 p ( x ) q ( x ) D(p||q)= \sum_{x \in X} p(x) log_2 \frac{p(x)}{q(x)} D(p∣∣q)=x∈X∑p(x)log2q(x)p(x)
交叉熵
I ( X , q ) = H ( x ) + D ( X ∣ ∣ q ) = − ∑ x ∈ X p ( x ) l o g 2 q ( x ) I(X,q)=H(x)+D(X||q)= - \sum_{x \in X} p(x)log_2 q(x) I(X,q)=H(x)+D(X∣∣q)=−x∈X∑p(x)log2q(x)
困惑度
P P q = 2 I ( X , q ) PP_{q}=2^{I(X,q)} PPq=2I(X,q)
互信息
I ( X , Y ) = H ( X ) − H ( X ∣ Y ) = ∑ x ∈ X ∑ y ∈ Y p ( x , y ) l o g 2 p ( x , y ) p ( x ) p ( y ) I(X,Y)=H(X)-H(X|Y)= \sum_{x \in X} \sum_{y \in Y}p(x,y)log_2 \frac{p(x,y)}{p(x)p(y)} I(X,Y)=H(X)−H(X∣Y)=x∈X∑y∈Y∑p(x,y)log2p(x)p(y)p(x,y)
双字耦合度
C o u p l e ( c i , c i + 1 ) = N ( c i c i + 1 ) N ( c i c i + 1 ) + N ( … c i ∣ c i + 1 …   ) Couple(c_i,c_{i+1})=\frac{N(c_{i}c_{i+1})}{N(c_i c_{i+1})+N(\dots c_i|c_{i+1} \dots)} Couple(ci,ci+1)=N(cici+1)+N(…ci∣ci+1…)N(cici+1)
2103
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
