theoreoeater的博客

原创 机器学习中的信息论

自信息量   一个事件的自信息量是该事件发生概率的负对数，事件发生的概率越大，自信息量越少，反之自信息量越多。也称不确定性函数，具有可加性。定义自信息量I(x)I(x)I(x)： I(x)=log(1p(x))I(x)=log⁡(1p(x)) I(x)=\log\left(\frac{1}{p(x)}\right) 信息熵   熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义...