看最大熵模型时看到信息熵的公式,似懂非懂,看了好半天,还是先理解信息熵的概念。
网上大部分的解释千篇一律,看了好多,才能渐渐理解(熵减小):
香农的信息熵本质上是对我们司空见惯的“不确定现象”的数学化度量。这句话总结比较到位。
这个视频对公式的解读,非常好理解,解释的比较清楚,有种顿悟的感觉。
参考资料:
https://www.zhihu.com/question/22178202
看最大熵模型时看到信息熵的公式,似懂非懂,看了好半天,还是先理解信息熵的概念。
网上大部分的解释千篇一律,看了好多,才能渐渐理解(熵减小):
香农的信息熵本质上是对我们司空见惯的“不确定现象”的数学化度量。这句话总结比较到位。
这个视频对公式的解读,非常好理解,解释的比较清楚,有种顿悟的感觉。
参考资料:
https://www.zhihu.com/question/22178202