机器学习中的常用分布

基本概念：

1. 样本空间：实验所有可能的输出的集合。

2. 随机变量：随机变量是一个映射（或函数），将映射到实数集。可以分为离散型随机变量和连续型随机变量。

3. pmf和pdf：pmf（probability mass function）为离散型随机变量的概率分布，定义为，有是也写成f(x)；对于连续型随机变量，则p称为pdf（probability density function），其定义为：；统称为概率密度函数。

4. cdf：cdf（cumulative distribution function）累计分布函数可以看做是概率密度函数的积分，其定义为：，取值范围是[0, 1]。

一般情况下提到的分布是指pdf，即概率密度函数（离散或连续）。

以下公式中的p都是概率的含义！

伯努利分布：

最简单的分布，假设随机变量