![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
信息论基础
文章平均质量分 54
Codeur
这个作者很懒,什么都没留下…
展开
-
熵
熵–信息熵 Entropy如果一个随机变量的取值范围为X={x1,x2,...,xn}X=\{x_1,x_2,...,x_n\},对应的概率为p(X=xi)(i=1,2,..,n)p(X=x_i)(i=1,2,..,n)则随机变量X的信息熵为H(X)=−∑x∈Xp(x)logp(x)H(X)=-\sum_{x\in X}p(x)logp(x)联合熵 Joint Entropy如果X,YX,Y是一对离原创 2017-08-13 15:12:19 · 461 阅读 · 0 评论 -
从信息论角度理解Softmax
本来写在one note上,直接截图了原创 2017-11-19 10:28:52 · 825 阅读 · 0 评论