熵

 

     喜欢爱举例的老师。像我这样的笨小孩，讲某个复杂的理论或者算法之前先来个形象的例子，学起来就快多了。

     信息论中的熵，描述了信息的不确定性。如果一个事件是确定的，比如我叫笨笨，那熵就是0；如果是扔骰子，那是1/2概率朝上，1/2朝下，熵可以通过-（1/2*log1/2+1/2*log1/2)计算,为1。熵越大，说明这件事的不确定性越大。而随着周围环境的变化，一个事件的熵如果发生了变化，比如股票涨幅，起初很不确定，熵较大，随着掌握的信息越来越多，熵越来越小，直至确定涨了多少，熵为0，这个过程中，熵的减少即代表着信息量的大小。

     物理学中的熵，测度的是混乱状态。在一个封闭的环境中，熵总是趋于增大的。比如滴一滴墨水到清水中，它总是会扩散直至二者均匀混合，这个过程熵是增大的。如果人类世界是个封闭世界，熵也是逐渐增大的，也就是趋于混乱的。

     但所幸我们是开放世界。

     混乱蛮好。