信息熵、相对熵和交叉熵
此文章为了解交叉熵的小记,具体详细讲解可移至文末处参考文章信息熵信息的本质:信息是用来消除随机不确定性的东西;信息量的大小与信息发生的概率成反比。概率越大,信息量越小。概率越小,信息量越大。某一事件发生的概率为P(x),其信息量I(x)为:I(x)=−log(P(x))I(x) = -log(P(x))I(x)=−log(P(x))信息熵用来表示所有信息量的期望,其公式表示为H(x)=−∑i=1nP(xi)log(P(xi)))(X=x1,x2,x3...,xn)H(x) = -\s
原创
2022-04-10 10:43:52 ·
1767 阅读 ·
0 评论