什么是熵？

神经网络中遇到了这个词（entropy）。发现高中学的都忘光了，百度搜出来的都是一个一头雾水的体系的混乱程度，维基百科又看不懂……但是看到了一个很好的评论。

@brucefan
我是教热力学的，应该能说清楚。为了知道一个量的意义，可以考察一个过程中该量的变化。在一个压强恒定的过程中，一个系统吸收的热量等于系统的焓的变化量。所以，焓是和内能类似的一个量，是一个热力学函数。熵也是一个类似的热力学函数。在一个可逆过程中，一个系统每一瞬时吸收的热量与当时的温度有个比值。该比值对该过程的积分就是系统熵的变化。所以，熵和热容具有相同的量纲。这是熵的宏观定义。微观地，一个系统在一个宏观状态下的熵正比于系统在该宏观状态下的所有微观状态数的对数，比例常数为Boltzmann常数。最后，这两个量都和能量类似，需要定义一个零点才有绝对意义。对熵来说，零温时一个化学纯的完美晶体的熵为零，因为此时系统的微观状态数为一。