机器学习中的数学——常用概率分布（九）：经验分布（Empirical分布）

分类目录：《机器学习中的数学》总目录
相关文章：
· 常用概率分布（一）：伯努利分布（Bernoulli分布）
· 常用概率分布（二）：范畴分布（Multinoulli分布）
· 常用概率分布（三）：二项分布（Binomial分布）
· 常用概率分布（四）：均匀分布（Uniform分布）
· 常用概率分布（五）：高斯分布（Gaussian分布）/正态分布（Normal分布）
· 常用概率分布（六）：指数分布（Exponential分布）
· 常用概率分布（七）： 拉普拉斯分布（Laplace分布）
· 常用概率分布（八）：狄拉克分布（Dirac分布）
· 常用概率分布（九）：经验分布（Empirical分布）
· 常用概率分布（十）：贝塔分布（Beta分布）
· 常用概率分布（十一）：狄利克雷分布（Dirichlet分布）
· 常用概率分布（十二）：逻辑斯谛分布（Logistic 分布）

---

《常用概率分布：狄拉克分布（Dirac分布）》中提到的狄拉克分布经常作为 经验分布的一个组成部分出现：
$$\hat{p}(x)=\frac{1}{m}\sum _{i=1}^m\delta (x-x_i)$$

经验分布将概率密度$\frac{1}{m}$赋给$m$个点$x(1),x(2),\cdots ,x(m)$中的每一个，这些点是给定的数据集或者采样的集合。只有在定义连续型随机变量的经验分布时，Dirac delta函数才是必要的。对于离散型随机变量，情况更加简单：经验分布可以被定义成个Multinoulli分布，对于每一个可能的输入，其概率可以简单地设为在训练集上个输入值的经验频率。

当我们在训练集上训练模型时，我们可以认为从这个训练集上得到的经验分布指明了我们采样来源的分布。关于经验分布另外一种重要的观点是，它是训练数据的似然最大的那个概率密度函数。