最大似然参数估计与贝叶斯参数估计

最大似然参数估计与贝叶斯参数估计

---

一，贝叶斯判决

$\qquad$现有c个类需分类，为{ $\omega_1,\omega_2,...,\omega_c$},对应的数据集为{ $D_1,D_2,...,D_c$},样本为$\mathbf{x}$ ，是一个d维列向量，则依据贝叶斯规则：
$\qquad$$\qquad$$\qquad$$\qquad$$\qquad$$P(\omega_i|\mathbf{x})=\frac{p(\mathbf{x}|\omega_i)P(\omega_i)}{\sum_{j=1}^c p(\mathbf{x}|\omega_j)P(\omega_j)}$
按照最大后验概率（MAP）判决规则：判决的类别 $\omega_{out}=arg \underset{\omega_i} maxP(\omega_i|\mathbf{x}$)
$\qquad$$P(\omega_i)$为先验概率，我们往往很容易就能得到，故还需要知道条件概率密度函数$p(\mathbf{x}|\omega_i)$。通常我们会对$p(\mathbf{x}|\omega_i)$进行建模（如建模成高斯函数），则$p(\mathbf{x}|\omega_i)$的形式是已知的，但是当中还含有参数$\theta$，此时我们将条件密度函数写成$p(\mathbf{x}|\omega_i,\theta_i)$的形式。
$\qquad$于是我们现在需要估计当中的参数$\theta_i$，估计方法由最大似然估计法和贝叶斯估计法两种方法，下面将会逐一介绍。
$\qquad$而通常我们是用$D_i$来估计$p(\mathbf{x}|\omega_i,\theta_i)$，也就是一个种类下估计该类下的参数$\theta_i$，于是对于该类下的样本来说$\omega_i$都是相同的，那么$p(\mathbf{x}|\omega_i)$可以写成$p(\mathbf{x})$的形式，$p(\mathbf{x}|\omega_i,\theta_i)$也可以写成$p(\mathbf{x}|\theta)$的形式。

---

二，最大似然估计法

$\qquad$最大似然估计法将$\theta$看成是一个确定的量，只是值不知道而已，其思想是选择一个$\theta$使得似然函数$p(D|\theta)$最大。
$\qquad$$\qquad$$\qquad$$\qquad$