02-概率密度

概率密度

概念

考虑连续变量的概率。如果一个实值变量 $x$ 落在区间 $(x,x+δx)$ 的概率由 $p(x)δx$ 给出，其中 $δx→0$ ，那么我们就把 $p(x)$ 称作 $x$ 的概率密度（probability density）

图示

公式

$x$ 位于区间 $(a,b)$ 的概率由下式给出：

$$p(x \in (a, b)) = \int_a^b p(x) dx$$
因为概率是非负的，并且 $x$ 的值必须在实轴上，所以概率密度 $p(x)$ 必须满足这两个条件
$$\begin{align} & p(x) \geq 0 \\ \\ & \int_{-\infty}^{\infty} p(x) dx = 1 \end{align}$$

累计分布函数

概念

累积分布函数(CDF, cumulative distribution function)来表示随机变量的概率分布状况。累积分布函数，是随机变量 $X$，在小于x的这个区间的概率和。当 $x$ 增大时，$X < x$ 包含的结果增加，概率和也相应增加。当x为正无穷时，实际上是所有情况的概率和，那么累积分布函数为1。

简而言之： $x$ 位于区间 $(−∞,z)$ 的概率

公式

$$P(z) = \int_{-\infty}^z p(x)dx$$

性质

$$P′(x)=p(x)$$

联合概率密度

概念

联合概率密度函数(joint PDF, joint probability density function)来表达多随机变量的分布。

本质上就是多变量概率密度

此处 $x$ 代表多个连续的变量$p(x)=p(x1,...,xD)$

联合概率密度：使得落在包含点 $x$ 的无穷小的体积 $δx$ 的点的概率等于 $p(x)δx$

公式

$$\begin{eqnarray} p(x) \geq 0 \tag{1.29} \\ \int p(x) dx = 1\tag{1.30} \end{eqnarray}$$

概率质量函数

概念

联合概率密度中 $x$ 是离散值的时候，$p(x)$ 就叫做概率质量函数（probability mass function）。

概率质量函数可以被看做在合法的 x <script type="math/tex" id="MathJax-Element-342">x</script> 值上的“概率质量”的集合。