AI圣经-深度学习-读书笔记（三）-概率与信息论

概率与信息论

1 概率论

概率论使我们能够提出不确定的申明以及在不确定性存在的情况下进行推理，而信息论使我们能够量化概率分布中不确定性的总量。

我们用概率来表示一种信任度，概率直接与事件发生的频率相联系，称为频率派概率。概率涉及到确定性水平，称为贝叶斯概率。

期望：对随机变量的值求平均。

方差：衡量的是当我们对$x$依据它的概率分布进行采样时，随机变量$x$的函数会呈现多大的差异。当方差很小时，$f(x)$的值形成的簇比较接近他们的期望值。

协方差：在某种意义上给出了两个变量线性相关性的强度以及这些变量的尺度。

2 信息论

信息论基本方法是一个不太可能的时间居然发生了，要比一个非常不可能的时间发生能提供更多的信息。