相对熵与交叉熵_熵、信息量、信息熵、交叉熵-个人小结

熵、信息量、信息熵、交叉熵-个人小结

一、理解熵

1、首先看到这个词会产疑问，熵是什么？谁定义的？用来干什么的？为什么机器学习会用到熵？有了这些疑问后慢慢的开始探索～复制代码

熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。 克劳修斯(T.Clausius) 于1854年提出熵(entropie)的概念, 我国物理学家胡刚复教授于1923年根据热温商之意首次把entropie译为“熵”。A.Einstein曾把熵理论在科学中的地位概述为“熵理论对于整个科学来说是第一法则”。

---

为了理解熵，必须讲一点物理学。

19世纪，物理学家开始认识到，世界的动力是能量，并且提出"能量守恒定律"，即能量的总和是不变的。但是，有一个现象让他们很困惑。

(上图中，单摆在两侧的最高点，势能最大，动能为零；在中间的低点，动能最大，势能为零，能量始终守恒。)物理学家发现，能量无法百分百地转换。比如，蒸汽机使用的是热能，将其转换为推动机器的机械能。这个过程中，总是有一些热能损耗掉，无法完全转变为机械能。

(上图中，能量 E 的转换，总是会导致能量损耗 ∆E。)

一开始，物理学家以为是技术水平不高导致的，但后来发现，技术再进步，也无法将能量损耗降到零。他们就将那些在能量转换过程中浪费掉的、无法再利用的能量称为熵。

后来，这个概念被总结成了"热力学第二定律"：能量转换总是会产生熵，如果是封闭系统，所有能量最终都会变成熵。

熵既然是能量，为什么无法利用？它又是怎么产生的？为什么所有能量最后都会变成熵？复制代码

物理学家有很多种解释，有一种我觉得最容易懂：能量转换的时候，大部分能量会转换成预先设定的状态，比如热能变成机械能、电能变成光能。但是，就像细胞突变那样，还有一部分能量会生成新的状态。这部分能量就是熵，由于状态不同，所以很难利用，除非外部注入新的能量，专门处理熵。