数学(2) 先验概率与后验概率

为研究 LDA 所做的数学储备，虽然之前已经学习过一定的相关知识，但是没有总结过。

---

先验概率

所谓先验概率，就是根据已有的知识，主观上对一件事情发生的可能性的推测。我以前理解先验概率的是，事件发生的概率是客观的，无法改变的。比如投掷硬币，如果随机抛掷一枚均匀的硬币，那么正反面朝上的概率均为$\frac{1}{2}$。但是现在看来，随机抛掷，硬币均匀，这些都是我们已经知道的知识。所以没有什么是客观的，一切都取决于主观对客观的观测条件。

在贝叶斯统计中，先验概率分布，即关于某个变量$X$的概率分布，是在获得某些信息或者依据前，对$X$不确定性所进行的猜测。这是对不确定性(而不是随机性)赋予一个量化的数值的表征，这个量化数值可以是一个参数，或者是一个潜在的变量。

注：不确定性和随机性是包含关系，不确定性包含随机性。随机性是在事件发生之前，可以预知可能发生的所有结果，但是事件发生前是不会知道确切哪种结果会发生。而不确定性是连可能发生的结果都不确定。

---

后验概率

所谓条件概率，就是在先验的基础之上，又补充了一些信息和经验，由于新补充进来的信息会导致概率发生变化，所以变化后的概率被称之为后验概率。比方说我买彩票，随机买中奖的概率是$P(X)$，但如果有人告诉我，中奖的号码开头都是1，把这个信息记为$A$,那么在得知这个信息后，我买彩票的中奖概率一定大大提升，新的概率为$P(X|A)$。而后验概率是条件概率的一种，它限定的是已知的信息是事件$X$，而未知的是模型参数$\theta$,所以后验概率是$P(\theta|X)$

$$P(A|B) = \frac{P(A,B)}{P(B)}$$
后验概率是关于随机事件或者不确定性断言的条件概率，是在相关证据或者背景给定并纳入考虑之后的条件概率。后验概率分布就是未知量作为随机变量的概率分布，并且是在基于实验或者调查所获得的信息上的条件分布。“后验”在这里意思是，考虑相关事件已经被检视并且能够得到一些信息。

---

似然函数

统计学中，似然函数是一种自变量是统计模型的参数的函数。给定输出x时，关于参数$\theta$的似然函数$\mathcal{L}(\theta)$（在数值上）等于给定参数$\theta$后变量$X$的概率$\mathcal{L}(\theta)=P(X|\theta)$。也就是说，似然是关于参数的函数，在参数给定的条件下，对于观察到的 x 的值的条件分布。

所谓概率，就是对于一个函数，在给定参数$\theta$的情况下，一个观察值发生的可能性。
所谓似然，就是对于一个函数，在给定观察值的情况下，函数参数是某组参数$\theta$的可能性

但是为啥似然就是等于给定$\theta$后变量的概率呢？
假设某一事件$X$，我们对其抽取$N$个观察值，分别为$\{x_1,x_2,...,x_N\}$，那么这些观察值发生的概率是多少呢？因为我们认定事件X发生的结果函数服从某一组参数$\theta$，那么这些观察值发生的概率自然是基于$\theta$之上的，即为$\{P(x_1|\theta),P(x_2|\theta),...,P(x_N|\theta)\}$。那么我们能抽取出这些观察值的概率是不是就是这些观察值发生的联合概率呢。记联合概率为$P$，则

$$P=P(x_1|\theta)*P(x_2|\theta)*...*P(x_N|\theta)=\prod_{i=1}^{N}P(x_i|\theta)$$
上面这个公式里，${x_1,x_2,...,x_N}$都是已知的变量，那么唯一未知的就是参数$\theta$,所以其实P就是关于$\theta$的函数，我们换个记法,$\mathcal{L}(\theta)$。
在极大似然里，我们认为当前模型的的参数$\theta$应该满足$\mathcal{L}(\theta)$在$X=\{x_1,x_2,...x_N\}$时取到最大值，所以$\mathcal{L}^{'}(\theta) = 0$

---

似然函数与后验概率的关系

后验概率数值上是模型参数$\theta$在给定观察值X下的概率
似然函数数值上是观察值X在给定模型参数$\theta$下的概率

$$P(\theta|X) = \frac{P(X|\theta)P(\theta)}{P(X)} \\ $$
我们说后验概率可以通过观察值X来推断$\theta$，但是后验概率是没法像先验概率那样可以直接算出来。所以贝叶斯定理告诉我们 后验概率 ∝ 似然 × 先验概率