XiXi_9的博客

转载 熵的介绍

一、熵(entropy) 熵是从物理热力学中引出来的概念，代表了粒子的无规则运动的剧烈程度。熵越大，粒子的无规则运动越剧烈；熵越小，粒子越倾向于静止的状态，即它们的状态越确定。熵代表随机变量的不确定性程度。熵越大，随机变量的不确定性就越大。设随机变量X=x1,x2,...,xnX=x1,x2,...,xnX = {x_1,x_2,...,x_n}。其概率分布为P(X=xi)=pi,i...