最大似然估计，最大后验估计

条件概率：

    $$P(A|B)={P(AB)\over P(B)}$$
    这个公式看下面韦恩图就懂了：在事件\(B\)发生的条件下发生事件\(A\)的概率\(P(A|B)\)，就是\(AB\)同时发生的概率\(P(AB)\)，比\(B\)发生的概率\(P(B)\).

   

贝叶斯公式：

$$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$$
    形式上很明显，这个公式是条件概率变形而来
$$P(A|B)={P(AB)\over P(B)}$$
$$\Rightarrow\;P(A|B)P(B)=P(AB)$$
$$P(B|A)={P(AB)\over P(A)}$$
$$\Rightarrow\;P(B|A)P(A)=P(AB)$$
$$\Rightarrow\;P(A|B)P(B)=P(B|A)P(A)$$
$$\Rightarrow\;P(A|B)={P(B|A)P(A)\over P(B)}$$
    贝叶斯公式中\(P(A|B)\)称为后验，就是需要推断的概率，\(P(B|A)\)称为似然，就是“貌似是这样“的意思，\(P(B)\)称为先验.

最大似然估计与最大后验估计：

    最大似然估计就是使似然最大化. \(P(B|A)\)这个是似然，用似然函数表示为\(P(x|\theta)\), 其中\(x\)是样本数据，\(\theta\)是条件，最大似然估计做的就是："在什么条件下，样本数据被抽到的概率最大".
    最大后验估计就是使\(P(B|A)P(A)\),即\(P(A|B)\)最大. 这个方法适用于知道先验的情况下.