《深度学习》- 概率与信息论

概率论

关于概率：

• 概率直接与事件发生的频率相联系，被称为频率派概率（frequentist probability);
• 还有一种例如医生诊断病人的病症，此时的概率可以表示为一种信任度（degree of belief）涉及到了确定性水平，被称为贝叶斯概率（Bayesian probablity）。

归一化：${\sum }_{x\in x}$ P(x) = 1这条性质被称为归一化，如果没有这一条性质，事件发生的概率可能会大于1
高斯混合模型：花书写的太深奥了，后面的几句实在是看不懂，高斯混合模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，它是一个将事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。（百度百科）

信息论

信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生。

• 非常可能发生的事件信息量要比较少，并且极端情况下，确保能够发生的事件应该没有信息量。
• 较不可能发生的事件具有更高的信息量。
• 独立事件应具有增量的信息，例如，投掷的硬币两次朝上传递的信息量，应该是投掷一次硬币正面朝上的信息量的两倍。
  KL散度：衡量两个概率分布$P(x)和Q(x)$,可以使用KL散度来衡量这两个分布的差异：
  D K L ( P ∣ ∣ Q ) = E x p [ l o g P ( x )