贝叶斯统计前置知识

贝叶斯定理

$$P(A|B)=\frac{P(B|A)\ast P(A)}{P(B)}$$
其中，$P(A|B)$表示在观测到$B$的条件下，事件$A$发生的概率，也被称为后验概率。$P(B|A)$表示在事件$A$发生的条件下，观测到$B$的概率，也称为似然函数。$P(A)$表示事件$A$的先验概率，即在观测到$B$之前对$A$的概率进行的估计。$P(B)$表示观测到B的边缘概率。

分布密度PDF

• 分布密度（Probability Density Function，简称PDF），也称概率密度函数，常记为$p(x)$。

• 对于连续型随机变量，概率分布无法通过简单的概率值来描述，因此使用分布密度PDF来表示。

• 分布密度具有以下特性：

  • 分布密度的值必须是非负的，即在所有取值范围内的函数值都大于等于零。
  • 整个取值范围内的分布密度的积分等于1

• 下文中提到的分布如无特殊说明，均指的是分布密度

分布函数CDF

• 分布函数（Cumulative Distribution Function，CDF），也称为累积分布函数。

• 对于随机变量X，其分布函数$F(x)$定义为：$F(x)=P(X\le x)$，即，分布函数$F(x)$表示随机变量$X$小于等于$x$的概率。

• 分布函数具有以下特性：

  • $F(x)$是一个非递减函数，即对于任意$x_1$和$x_2$$（x1\le x2）$，有$F(x1)\le F(x2)$。
  • $F(x)$的取值范围在$[0,1]$之间，即$0\le F(x)\le 1$。
  • 当$x$趋于负无穷时，$F(x)$趋近于0；当$x$趋于正无穷时，$F(x)$趋近于$1$。

PDF与CDF之间的关系？

• 简而言之，CDF是PDF的积分，而PDF是CDF的导数。

期望

• 离散情形：$$E(X)=\sum _{i=1}^n{x}_i\cdot p_i$$
• 连续情形：$$E(X)={\int }_{x}x\cdot p(x)dx$$
• 常用公式
  • $E(X+Y)=E(X)+E(Y)$
  • $E(XY)=E(X)\ast E(Y)$，仅当$X,Y$相互独立时成立
  • $E(C)=C$ ，$C$为常数
  • $E(kX)=kE(X)$ ，$k$为常数

方差

• 离散情形：$$D(X)=\sum _{i=1}^n(x_i-E(X){)}^2\cdot p_i$$
• 连续情形：$$D(X)={\int }_x(x_i-E(X){)}^2\cdot p(x)dx$$
• 常用公式
  • $D(X+Y)=D(X)+D(Y)$，仅当$X,Y$相互独立时成立
  • $D(C)=0$ ，$C$为常数
  • $D(kX)=k^{2}D(X)$ ，$k$为常数

贝叶斯相关术语的符号定义

假设有一组独立同分布的样本$X=(x_1,x_2,...,x_n)$是从参数为$\theta$的总体分布$f(X|\theta )$采样而来，而$\theta$又服从参数为$\lambda$的先验分布$\pi (\theta )$，则有如下的定义：

• 超参数：$\lambda$
• 先验分布：$\pi (\theta |\lambda )$，没有超参数时也写做$\pi (\theta )$
• 总体分布：$f(X|\theta )$
• 样本似然：${\prod }_{i=1}^{n}f(x_i|\theta )$，建立在样本独立同分布的基础之上
• 参数$\theta$与样本$X$的联合分布：$f(X,\theta )=\pi (\theta )f(X|\theta )$
• 边缘分布： 通常记为$m(X)$，由联合分布对参数$\theta$求积分得到，即$$m(X)={\int }_{\theta }f(X,\theta )d\theta ={\int }_{\theta }f(X|\theta )\pi (\theta )d\theta$$
• 后验分布： 通常记为$\pi (\theta |X)$，表示经过样本信息修正过后的参数分布$$\pi (\theta |X)=\frac{f(X,\theta )}{m(X)}=\frac{\pi (\theta )f(X|\theta )}{{\int }_{\theta }f(X|\theta )\pi (\theta )d\theta }$$