AI生成式技术曾小健

举个例子，如果我们要预测一个公正的硬币的结果，每次抛掷的结果都是无法预测的（正面或反面的概率各为0.5）。也就是说，每次抛掷都会带来。而如果硬币是偏的，比如正面的概率是0.9，那么每次抛掷的结果就比较容易预测，带来的新信息量就小一些。相反，如果一个事件发生的概率很大，甚至接近确定，那么它就不会给我们提供什么新的信息，所以它的信息量就很小。对数函数的性质是，当0 < P(x) < 1时，log(P(x))是负数。，通常在信息论中，我们使用的是以2为底的对数，这样得到的。小的事件更能提供一些新的、未知的信息。

在正负饱和区，其梯度都接近于0，导致梯度弥散。