【日常分享】概率密度函数与概率分布函数理解

前言

最近在搞深度学习，统计数据分布时发现概率论这部分的知识点掌握的不是很好，因此在网上查阅了部分资料，整理如下。

本文主要整理概率密度函数（probability density function）和概率分布函数（probability distribution function）；主要针对连续型随机变量，也会稍微提及离散型随机变量。

概率密度函数

假设$X$是连续型随机变量，那么可以定义它的概率密度函数（probability density function, PDF）$f_X(x)$，有时简称为密度函数。

我们用概率密度函数在某一区间$[a,b]$上的积分来刻画随机变量$X$落在这个区间中的概率，即$$P(a\le X\le b)={\int }_a^b{f}_X(x)dx$$

概率质量函数

假设$X$是离散型随机变量，那么可以定义它的概率质量函数（probability mass function, PMF）$p_X(x)$。

与连续型随机变量不同，这里的概率质量函数其实就是离散型随机变量的分布律，即$p_X(x)=P(X=x)$。

比如对于掷一枚均匀硬币，如果正面令$X=1$，如果反面令$X=0$。那么它的概率质量函数就是：

概率分布函数

概率分布函数（probability distribution function），有时也叫累积分布函数（cumulative distribution function ,CDF）。

无论$X$是连续型随机变量还是离散型随机变量，都可以定义其概率分布函数$F_X(x)$。

$$F_X(x)=P(X\le x)$$

对于连续型随机变量，$F_X(x)=P(X\le x)={\int }_{-\infty }^x{f}_X(t)dt$。

也就是说：
概率分布函数是概率密度函数的积分；
概率密度函数是概率分布函数的导数。

对于离散型随机变量，其概率分布函数是阶梯状的分段函数，比如举例中的掷硬币随机变量，它的概率分布函数如下：

概率分布函数的性质

（1）概率分布函数是单调递增的

对于任意的$x_1<x_2$，总有$P(X\le x_1)<P(X\le x_2)$，所以$F_X(x_1)<F_X(x_2)$。

（2）${\lim }_{x\to \infty }{F}_X(x)=1,{\lim }_{x\to -\infty }{F}_X(x)=0$

也就是说，当$x$趋向于正无穷大时，概率分布函数的值会等于1，当$x$趋向于负无穷大时，概率分布函数的值会等于0。通过定义易得$P(X\le \infty )=1$，同理，概率密度函数与$x$轴围成的面积也是1。

举例说明

以正态分布为例，正态分布的概率密度函数如下：

正态分布的概率密度函数由均值$\mu$和标准差$\sigma$就可以确定。

正态分布的概率分布函数如下：

符合上述两条概率分布函数的性质。

备注

对于连续型随机变量$X$来说，其概率密度函数表示了$X$在各个取值时的可能性，但是直接用概率密度函数$f_X(x=x_0)$是不能表示其取值到$x_0$的概率的，一般用区间的形式表示连续型随机变量的取值概率，也就是对概率密度函数求积分。

借鉴

https://www.zhihu.com/question/36853661
https://www.zhihu.com/question/23237834