学习机器学习模型的时候才发现概率知识缺很多啊啊啊……,还好重新捡起来比学习新东西还是简单很多
把LDA里面的几个基础概率分布简单总结一下。
概率密度函数和概率分布函数
概率密度函数和概率分布函数分别是什么,区别是什么,你还记得吗?嗯,先试着回想一下。以前看到总觉得很简单,就在眼前一闪而过,真正用到的时候就用的很不顺手啊。
概率密度函数
PDF – Probability Density Function
机器学习里面的朴素贝叶斯、EM算法、混合高斯模型、sampling 等都要用到这个东东。
它表述的意义是在某个确定的点(附近)事件发生的可能性。
对离散型随机变量:
fX(x)=p(X=x)
对连续型随机变量,存在 fX(x) , 满足
1. fX(x)>0
2. ∫+∞−∞fX(x)=1
3. p(a<X<b)=∫bafX(x)
分布函数
CDF – Cumulative Distribution Function
表示随机变量小于等于某一取值 x 的概率。
对连续型随机变量
FX(x)=∫x−∞fX(x)
伯努利分布
X∼Bernoulli(p)
这个应该是我们学的最简单的分布函数
就是对单次抛硬币进行建模
f(x)=px(1−p)1−x x={
0,1}
直观点就是:
f(x)={
px=11−px=0
二项式分布
X∼Binomial(p,n)
二项分布就是重复 n 次的伯努利实验模型。
f(k)=P(X=k|p,n)=Cknpk(1−p)(n−k)=n!k!(n−k)!pk(1−p)(n−k)
多项式分布
X∼Multinormal(p⃗ ,n)
抛硬币只有两种情况发生,如果一件事可能出此案多种结果,比如说掷筛子,那么可以用多项式分布进行建模
设 p⃗ =(