蒙特卡洛采样_随机模拟：马尔可夫链中的蒙特卡洛推断采样法MCMC「1」

最近学习了机器学习中的马尔科夫链蒙特卡洛(Markov Chain Monte Carlo, 简称MCMC) 相关的知识。

主要内容包括：

【1】蒙特卡洛原则，及其应用于采样的必要性

【2】用于求解最大似然、近似推断、期望问题的经典采样算法：Metropolis-Hastings，Rejection，Importan，Metropolis和Gibbs算法。

【3】马尔可夫链各个性质在蒙特卡洛采样问题中的应用，包括同质性，平移不变性

————————————————【1】——————————————————

MC采样的基本想法是，选择一个样本，用一个简单问题近似复杂的混合问题。对于一个复杂分布，使用从中获得的样本来表示该分布，而不是直接猜测该分布。

首先学习复杂分布与近似推断approximate inference的例子：

【需要采样的第一类场景】贝叶斯推断与学习：假设未知变量x，已知数据y，下列难以处理的整合问题是贝叶斯统计的中心问题。

1、正态化问题

已知p(x)先验，似然p(y|x)，为求得后验概率p(x|y)，需要计算贝叶斯理论中的正态系数：