信息论-Shannon entropy-Kullback-Leibler (KL) divergence-cross-entropy

信息论是应用数学的一个分支,主要研究的是对一个信号包含信息的多少进行量化。

信息论的基本想法是一个不太可能的事件居然发生了,要比一个非常可能的事件发生,能提供更多的信息。消息说:‘‘今天早上太阳升起’’ 信息量是如此之少以至于没有必要发送,但一条消息说:‘‘今天早上有日食’’ 信息量就很丰富。

熵由 (p − 1) log(1 − p) − p log p 给出。当 p 接近 0 时,分布几乎是确定的,因为随机变量几乎总是0。当 p 接近 1 时,分布也几乎是确定的,因为随机变量几乎总是 1。当 p = 0.5 时,熵是最大的,因为分布在两个结果(0 和 1)上是均匀的.

Logistic Regression: