机器学习中的数学-03-概率论基础（含各种分布函数）

概率论基础

累计分布函数第三条是需要满足一定条件的。很好应用的有ICA，sigmoid等。

举例

古典概型

将n个不同的球放入N(N>=n)个盒子中，假设盒子容量无限，求事件A={每个盒子至多有一个球}的概率。




装箱问题
将12件正品和3件次品随机装在3个箱子中，每箱装5件，则每箱中恰有一件次品的概率是多少？
另一种解法是依据每个箱子来讲，随机选取5个放到第一个箱子，从剩下的10个中随机选取5个放入到第二个箱子中，最后五个放到最后一个箱子里。
先将三个次品放入到三个箱子中（排序），然后12个中随机选4个放入到第一个箱子，后面两个箱子同上。式子如下：（最终结果一样）


该式子后续还会提到，跟熵有关。

古典概型问题利用几何概型求解


贝叶斯公式在一定程度上颠倒了因果，混淆了计算。也就是不论因果而是看他们之间的关系，达到了便于求解的目的。

先自己动手算















半记忆性：马尔可夫模型

以上的所有分布都可以看作是一个指数族；

指数分布最终都可以用到逻辑回归当中。
例如：



也就是sigmoid函数
该函数也就可以作为某一概率函数，激活函数，分类函数等



附：BAT面试题

可以利用几何概型解决