Gibbs_Sampling

Gibbs_Sampling

    对于一些自己不理解英语专业的术语，最好的方法是谷歌搜索，而不是中文百度。因为中文翻译过来的译文已经没有了原文的味道，不好理解。读原汁原味的英文感觉会更好。原味的英文内容更加全面，逻辑更加紧密，表达更清楚有力，权威性更高。

    在直接采样困难的时候，在统计学和统计物理学中，吉布斯采样或者说吉布斯采样器是一种马尔可夫链蒙特卡罗算法，目的是为了获得一系列的观察值，而这些观察值近似的服从于指定的多变量概率分布（也就是说，服从于两个或者更多个随机变量的联合概率分布）。这些采取得到的序列可以用来近似联合分布（也就是说，用来产生一个分布的直方图），近似其中一个变量的边缘分布或者其中一些变量子集的边缘分布（比如，未知的参数或者隐藏变量），或者用来计算积分（如诸多个变量当中一个变量的期望值）。典型的，某些变量对应于的观察值是已知的，所以不需要被采样。

    吉布斯采样通常被当作一种统计推断方法来使用，尤其是贝叶斯推断。贝叶斯推断是一种随机算法（也就是说，利用随机数的一种算法，因此每次执行此算法时，它会产生不同的结果）。还有，贝叶斯推断是另一种统计推断确定性的算法，比如Variational Bayes、the expectation-maximization algorithm(EM)。

     

   .......

一些相关概念链接：

1、 deministic function

     http://technet.microsoft.com/en-us/library/ms178091.aspx

2 、 Gibbs_sampling

     http://en.wikipedia.org/wiki/Gibbs_sampling

3、 M arkov chain Monte Carlo

     http://en.wikipedia.org/wiki/Markov_chain_Monte_Carlo

4、 statistical inference

    http://en.wikipedia.org/wiki/Statistical_inference

5、 Bayesian inference

    http://en.wikipedia.org/wiki/Bayesian_inference

6、 r andomized algorithm

    http://en.wikipedia.org/wiki/Randomized_algorithm

7、 deterministic algorithms

    http://en.wikipedia.org/wiki/Deterministic_algorithm

8、 Statistics

    http://en.wikipedia.org/wiki/Statistics

9、 st atistical physics

    http://en.wikipedia.org/wiki/Statistical_physics

10、  Bayesian network

    http://en.wikipedia.org/wiki/Bayesian_network

11、 posterior distribution

    http://en.wikipedia.org/wiki/Posterior_probability

12、 graphical model

    http://en.wikipedia.org/wiki/Graphical_model

13、 probabilistic model

    http://en.wikipedia.org/wiki/Probabilistic_model

14、 Statistical inference 

   http://en.wikipedia.org/wiki/Statistical_inference

15、 probability theory

    http://en.wikipedia.org/wiki/Probability_theory

16、 statistics

    http://en.wikipedia.org/wiki/Statistics

17、  Bayesian statistics

     http://en.wikipedia.org/wiki/Bayesian_statistics

18、  Bayesian probabilities

    http://en.wikipedia.org/wiki/Bayesian_probability

19、 discriminative model

    http://en.wikipedia.org/wiki/Discriminative_model

20、 generative mode l

    http://en.wikipedia.org/wiki/Generative_model

• A conditional random field is a discriminative model specified over an undirected graph.
• A restricted Boltzmann machine is a generative model specified over an undirected graph.

21、 directed acyclic graph

    http://en.wikipedia.org/wiki/Directed_acyclic_graph

22、  undirected graph

     http://en.wikipedia.org/wiki/Undirected_graph#Undirected_graph

23、 bipartite graph

    http://en.wikipedia.org/wiki/Graphical_model