机器学习、深度学习关于熵你所需要知道的一切

熵的定义

熵的概念来自于从热力学，概括的说就是用来描述事物的混乱程度。
那么问题来了，物体的混乱程度是倾向于变大or变小，在没有外力干预的情况下会怎么样？
1、街道上的共享单车在没有工作人员干预的情况下会变得越来越乱；
2、房间在没有主动收拾的情况下会变得越来越乱；
3、破窗效应在前期不加以遏制，窗口会越来越大；
…etc
以上是一些混乱程度自发变大的现象，等价于熵增。
提供几个理解熵本质的切口，读者可以通过对下面概念的阅读并加以理解来对熵进行多维度把握。
1、世界万物绝大部分趋于熵增；
2、宇宙趋于热寂；
3、熵增无处不在，但最神奇的生命却可以对抗熵减，但最终还要走向熵增；
4、建立耗散结构是一个对抗熵增的可行方向，小到个人，企业，大到城市，国家，我们的星球，星系。

关于公式

提两点：
1、概率和熵的大小要为负相关；选择指数函数是为了让独立事件的熵满足可加性（此种做法其他也有好多）；
2、左边乘的概率是加权，最后需要得到期望。

注：任何公式要了解其背后的本质，追究到‘道’的层面，才能不被‘术’所惑。

一点升华

1、损失函数（拿交叉熵举例）KL散度=交叉熵-熵，为什么loss减小是我们追求的方向，因为loss减少说明熵减小了，根据上面的理解（假设你已经看过并理解上面提到的几个理解切口），说明我们模型参数正在向着使得系统变得有序的方向优化，这是我们想要的，因为只有有序，才能变得可控，我们人类不就是在一直追求确定性么？
2、熵减方向=有序方向，熵减方向=loss变小的方向，不管是深度or非深度，不管是何种应用场景，都在追求熵减的方向，为什么呢?因为世界上的绝大部分事物趋于熵增，熵减方向极其稀缺，自然是人们所追求的；
3、至于梯度，就是一个能让你快速熵减的方向。