后验概率与似然函数的区别与联系

定义与区别

参考资料[3]对两个概念的定义如下：

后验概率：

在给定证据$X$后，参数$\theta$的概率： $p(\theta |X)$ 。

似然函数：

给定了参数$\theta$后，证据$X$的概率：$p(X|\theta )$。

参考资料[1]则解释的更清楚，将似然函数定义为：

给定输出$x$时，关于参数$\theta$的似然函数$L(\theta |x)$（在数值上）等于给定参数$\theta$后变量$X$的概率：$L(\theta |x)=P(X=x|\theta )$。

由于$L(\theta |x)=P(X=x|\theta )$，因此[2]和[3]也将似然函数直接写成$P(x|\theta )$。但要注意，$P(x|\theta )$中的自变量仍然是$\theta$。因此似然函数写为$P(x|\theta )$时虽然形式上与概率密度函数相同，但并非概率密度函数，例如一般不满足定义域内积分为1的性质（见参考资料[2]的例子$L(\theta |x)={\theta }^7(1-\theta {)}^3$）。

联系

1、后验概率和似然函数的自变量都是参数$\theta$；

2、如果定义先验概率为$p(\theta )$，由似然函数的定义，$给定x时参数\theta 的似然=给定\theta 时样本x的概率=p(x|\theta )$，那么后验概率可以定义为$p(\theta |x)$ = $\frac{p(x|\theta )p(\theta )}{p(x)}$.

可以将后验概率写成：

后验概率 $\propto$ 似然 $\times$ 先验概率。

[1] https://baike.baidu.com/item/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0

[2] https://blog.csdn.net/u011508640/article/details/72815981

[3] https://zh.wikipedia.org/wiki/%E5%90%8E%E9%AA%8C%E6%A6%82%E7%8E%87