机器学习笔记之三: 熵
熵的推导已知随机变量XX的概率分布P(X)P(X),我们对事件X=xi(i=0,1,...,N)X=x_{i}(i=0,1,...,N)进行编码,编码要求符合前缀编码规则,(即任何一个编码都不能是另一个有效编码的前缀,例如已有编码10,则编码100,101,1011,等都不是可用的编码)。在这种编码规则下,记X=xiX=x_{i}编码的长度为L(xi)L(x_{i}),则它的代价(它所占用的编码空间
原创
2017-11-04 16:23:44 ·
442 阅读 ·
0 评论