贝叶斯推断、决策

前言

  与频率学派不同，贝叶斯学派把未知的参数$\theta$看成是一个随机变量，服从某种确定分布而不是一个确定值。

贝叶斯推断

  $P(\theta |X)=\frac{P(X|\theta )\cdot P(\theta )}{P(X)}=\frac{P(X|\theta )\cdot P(\theta )}{{\int }_{\theta }P(X|\theta )\cdot P(\theta )d\theta }$
  其中左边为后验，右上分别为似然和先验，右下为用于归一化的边缘分布。

贝叶斯决策

  使用贝叶斯推断，预测新样本$\dot{x}$的概率$P(\dot{x}|X)$，$X$为训练样本。
  $P(\dot{x}|X)={\int }_{\theta }P(\dot{x},\theta |X)d\theta ={\int }_{\theta }P(\dot{x}|\theta )P(\theta |X)d\theta$
  结果为后验的一个期望值。