最大似然估计与最大后验概率估计

概率与统计

概率是已知模型、参数推数据，而统计是已知数据推模型和参数。
似然和概率是两个意思很相似的词，但含义不同。相当于从不同视角理解同一个东西。
对于函数 $P(x|\theta )$，其中x为数据，$\theta$为参数。

• 若参数$\theta$是确定的，数据x是未知的，则P叫概率函数。描述的是，对于不同的样本x，其出现时的概率是多少；
• 若数据x是已知的，参数$\theta$是未知的，则P就叫似然函数。描述的是，对于不同的参数$\theta$，出现样本点x的概率是多少；

贝叶斯公式

$P(A|B)=\frac{P(B|A)P(A)}{P(B)}=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|A)P(A)}$

最大似然估计

已知一组样本 $x_1,x_2,...,x_n$，和模型$f(x|\theta )$，估计其参数$\theta$。
似然估计认为，已经出现的事件就是发生可能性最大的事件。
任一样本$x_i$，发生的概率为$f(x_i|\theta )$。因此对于这组样本，其整体发生的概率，即联合分布概率为 $$L(x_1;...;x_n|\theta )=\prod _{i=1}^{n}f(x_i|\theta )$$
只需要对L求极大值即可，一般会根据情况取ln，求导。若不可导，则利用函数特性求解。

最大后验概率估计

最大似然估计时，估计的是 $P(x|\theta )$（P即f）。而最大后验概率估计，估计的是$P(x|\theta )P(\theta )$，即将参数本身的概率也考虑进去，既希望概率最大，也希望参数自身先验概率也最大，相当于是一个期望更大值的正则项。举例解释见例子
$\frac{P(x|\theta )P(\theta )}{P(x)}=P(\theta |x)$，其中P(x)已知了，所以估计$P(x|\theta )P(\theta )$就是估计$P(\theta |x)$，即后验概率。
在求解时可将$P(\theta )$代入，同理求解最大值，得到得到最大后验概率估计。

参考：最大似然与最大后验·理解，二者的具体计算,例子