【机器学习中的数学】贝叶斯框架下二元离散随机变量的概率分布

引言

我感觉学习机器学习算法还是要从数学角度入门才是唯一正道，机器学习领域大牛Michael I. Jordan给出的机器学习定义是，“A field that bridge computation and statistics,with ties to information theory, signal processing, algorithm, control theory and optimization theory”。所以对于机器学习的门徒来说，我认为将计算机和统计理论有机结合起来才是正确的出路。市面上吹嘘的所谓不介绍数学背景，只引入如何使用算法的书籍，只能是迎合那些急功近利的人的口味，确实可以感觉出被火热概念炒出来的人们的浮躁。
当然，看别人的浮躁，说明你也有一颗浮躁的心。
我还是踏踏实实的一步一个脚印的赶紧上路吧！不然，我也是一个随波逐流，追赶鱼潮的打渔人，没有自己的根本，一旦翻了船，那才是一无所获呢。
学校里很多老师教的课程确实都是在忽悠学生，其实他们可能也没有很扎实的数学基础，以至于很难将学生领入正确的道路上来。至少作为听课学生来讲，我是这么感觉的。造成的结果是，感觉这门课程是独立于一个领域的，是很孤立的。而从一些外文书籍中可以看出来，机器学习其实是多学科交叉的衍生物，和很多工程领域理论都有密切的联系，这样，至少让我们这种初学者有据可查，不至于感觉它是从石头缝里蹦出来的。

接下来，几篇文章介绍的概率分布是构建复杂模型的基础。讨论这些概率分布的一个重要应用就是密度估计(density estimation)，即根据有限的观测数据，去建立模型，然后得到这些随机变量的样本所遵循的概率分布。（直到这时，我才多少明白一点本科时概率统计课上教的参数估计是干什么用的）

二元变量(Binary Variables)

我们首先来考虑二元随机变量x∈{0,1}。

伯努利分布(Bernoulli Distribution)

伯努利分布（the Bernoulli distribution，又名两点分布或者0-1分布，是一个离散型概率分布，为纪念瑞士科学家雅各布·伯努利而命名)，若伯努利试验成功，则伯努利随机变量取值为1。若伯努利试验失败，则伯努利随机变量取值为0。