乾坤瞬间的博客

在机器学习领域有一种叫entropy目标函数,我们想通过调整参数(w,θ)去优化这种目标函数,以达到寻找到的含有某个参数(w,θ)的模型,最大程度上来表示我们想要描述的事件. 但是,对于没有接触过熵这种概念的同学,实在是很困惑,熵到底是什么?为什么熵能够代表对原信息的一种度量标准(criteria)?这种想法,也一直困扰着我,感觉"熵"这种高大上的东西, 感觉就像"量子物理"的"量子"概念一样