均匀分布
墨文昱:均匀分布zhuanlan.zhihu.com- 离散随机变量的均匀分布:假设 X 有 k 个取值:x1, x2, ..., xk 则均匀分布的概率密度函数为:
- 连续随机变量的均匀分布:假设 X 在 [a, b] 上均匀分布,则其概率密度函数为:
伯努利分布
伯努利分布:参数为 p∈[0,1],设随机变量 X ∈ {0,1},则概率分布函数为:
期望为p,方差为p(1-p)
二项分布
独立重复地进行 n 次试验中,成功 x 次的概率:
期望为np,方差为np(1-p)
高斯分布
我们在做模型训练的之后,随机变量取值范围是实数,大多数情况下都假设变量服从高斯分布,原因:
- 随机变量大多数情况下有若干个因素组合而成,中心极限定理表明,多个独立随机变量的和近似正态分布
- 在具有相同方差的所有可能的概率分布中,正态分布的熵最大(即不确定性最大);熵大带来的信息量多
典型的一维正态分布的概率密度函数为 :
拉普拉斯分布
概率密度函数:
期望为u,方差为
拉普拉斯分布比高斯分布更加尖锐和狭窄,在正则化中通常会利用该性质
泊松分布
假设已知事件在单位时间(或者单位面积)内发生的平均次数为λ,则泊松分布描述了:事件在单位时间(或者单位面积)内发生的具体次数为 k 的概率。 概率密度函数:
期望:λ,方差为:λ