PRML-系列一之1.2.1

概率密度

　　除了考虑定义在离散事件上的概率外，我们也希望考虑连续变量的概率。我们的讨论限制到一个相对非正式的情况。如果真值变量x落在区间（x，x+Δx）上的概率由p（x）Δx且Δx→0给出，那么p（x）称为x上的概率密度，如图1.12。x位于区间（a，b）的概率由下式给出：

因为概率是非负的，并且x的值必须在实轴上，所以概率密度p（x）必须满足下面的两个条件：

根据变量的非线性变化，由于雅可比因子，概率密度可以从一个简单的函数转化来。例如，如果我们考虑变量x =g（y），那么函数f（x）变成 f（g（y））。现在考虑概率密度px（x）且它对应于py（y）。落在（x，x+Δx）（Δx非常小）的观察值转换到（y，y+Δy）上，其中px（x）Δx ~py（y）Δy，因此

这个属性的一个推论是最大化概率密度的概念依赖于变量的选择。
　　x在间隔（-∞，z）上的概率由累积分布函数给出，该函数定义如下：

其中P’（x）=p（x），如图1.12所示

　　如果我们有几个连续变量x1，， ，xd，用向量x表示，那么我们可以定义一个联合概率密度p（x）= p（x1，…，xd），例如落在无穷小列Δx（包含x）的x概率由p（x）Δx给出。这种多元概率密度必须满足：

积分是在整个x空间。我们也可以考虑离散和连续变量组合上的概率密度。
　　注意，如果x是一个离散变量，那么有时p（x）叫做概率质量函数，因为它可以被看做是关注x允许值的概率质量集。
　　概率的求和与乘积规则，以及贝叶斯定理，同等的应用到概率密度情况或离散与连续的组合变量。举例来说，如果x和y是两个实变量，那么求和与乘积规则的形式是

连续变量求和和乘积规则的正式证明（Feller，1966）要求称为测度理论的数学分支，这超出了本书的范围。但是，通过分割每个实变量到宽为Δ的区间，并考虑这些区间上离散概率分布，我们可以非正式地看出它的有效性。取极限Δ→0然后将求和转换成积分，得到了所期望的结果。