对于贝叶斯理论来说，我们的核心目标是确定p(θ|X)，即模型参数θ对于样本X的后验分布。

1、确定这个后验概率分布有什么用？

在使用贝叶斯模型进行推断的时候，我们是基于已有样本X（下边的公式中用D表示了，意义都一样），和新样本x*，给出该样本的类别估计（比如给出x*属于垃圾邮件的概率，等等）。那么这个类别估计等于什么呢？如下述公式所示：要考虑所有的模型参数θ（所以对θ进行了积分），对于每个θ，给出基于样本X的后验概率，最后基于该模型参数θ和样本x*，给出贝叶斯模型的推断结果，属于y^hat的概率。

简单来说，使用贝叶斯模型进行推断的时候，考虑了所有的模型参数；每个模型参数的概率，基于样本的后验概率【p(θ|X)】得到；最后，基于模型参数θ和给定样本x*得到推断结果。

2、如何计算这样的后验分布呢？

坑

2.1、 西瓜书中那种做法：要计算P(+|x)过渡到统计正样本的概率P(＋)和P(x|＋)【正样本中x出现的可能性】。由于x的维度非常高，P(x|＋)基本趋近于0（可以这样理解，我手上的样本根本就没有见过x）。那怎么办嘛。来一个假设，假设样本的各个维度是独立，P(x|＋)≈P(x_d1|＋)P(x_d2|＋)...P(x_dn|＋)。P(x_d1|＋)对于正样本来说是好统计的，以此类推。新来一个样本x，我们就能基于手上的样本，给出一个它属于正样本的概率了。 属于什么方法呢？

西瓜书中提到，计算P(+|x)【x属于正样本的概率】通过贝叶斯定理可以转换为计算P(x|+)【正样本中，x出现的概率】这样的条件概率太难计算了，所以为了绕开这个麻烦，遂提出了上述↑的方法。叫做朴素贝叶斯方法；

2.2、MCMC跟p(θ|X)有何关系？

在这篇博客中“https://www.cnblogs.com/little-YTMM/p/5399532.html”，说白了，使用模型进行推断时，就是要计算下式的复杂积分。所以，也是直接跳过计算p(θ|X)，而是直接通过MCMC的方法，给出采样结果x。

蒙特卡洛方法解决的问题是：

1、推荐看刘建平的博客：https://www.cnblogs.com/pinard/p/6638955.html

2、蒙特卡罗方法最早都是为了求解一些不太好求解的积分问题；

3、根据博客https://www.cnblogs.com/little-YTMM/p/5399532.html，这个复杂积分可以通过下述方法进行估计：