随机变量与概率

离散随机变量

假设随机变量$X$的取值域为 Ω = { x i } i = 1 ∞ \Omega=\{x_i\}{^\infty_{i=1}} Ω={xi​}i=1∞​, 那么对于任何一个$x_i$, 事件$X=x_i$的概率记为$P(x_i)$.
对于$\Omega$的任何一个子集 S = { x k i } i = 1 ∞ S=\{x_{k_i}\}{^\infty_{i=1}} S={xki​​}i=1∞​, 事件$X\in S$的概率为
$$P(S)=\sum {}_{i=1}^{\infty }P(x_i)$$
对于离散随机变量, 概率为概率函数的求和.

连续随机变量

假设随机变量$X$的取值域为$R$, 那么对于几乎所有$x\in \mathbb{R}$, 事件$X=x$的概率$P(X=x)$都等于0, 所以我们转而定义概率密度函数$f:\mathbb{R}\to [0,\infty )$. 对于任何区间$(a,b)$, 事件$X\in (a,b)$的概率为
$$P((a,b))=\int {}_a^{b}f(x)dx$$

• 对于连续型随机变量, 概率为概率密度函数的积分.
• 不论是离散还是连续型随机变量, 概率函数和概率密度函数的定义域即为这个随机变量的值域.
• 作为一个特殊的概率函数, 分布函数定义为
  $$\Phi (x)=P(X<x)$$

事件概率

• 整个概率空间是一个事件, 这个事件一定发生所以全空间的概率为1
• 事件是随机变量值域的子集$S$
• 事件的概率则表示$S$里面概率之和或概率密度之积分

事件的条件概率

• 条件也是事件, 也可表示为随机变量值域的子集: $A$
• 条件概率里面的事件, 又是这个条件的子集: $S\cap A\subset A$
• 事件的条件概率则表示$S\cap A$在$A$里面所占的比例, 故而$P(S|A)=\frac{P(S\cap A)}{P(A)}$

概率其实就是集合的大小比例, 而概率函数或者概率密度函数可以理解为比较大小时候的权重

贝叶斯公式

如果$A,B$是两个事件, 那么条件概率满足公式
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$
利用前面的定义我们知道, 事件$A,B$同时发生的概率为$P(A\cap B)$, 一方面
$$P(A\cap B)=P(B|A)P(A)$$
另一方面对称的有
$$P(A\cap B)=P(A|B)P(B)$$
所以$P(B|A)P(A)=P(A|B)P(B)$, 两边同时除以$P(B)$就得到了贝叶斯公式

概率分布

常见的概率分布基本上都有参数, 比如正太分布有$(\mu ,\sigma )$两个参数, 泊松分布有一个参数$\lambda$, 对于一个具体的问题而言, 关于这些参数有两种不同的看法

• 利用经验得到一个关于参数的先验分布 (Bayesian)
• 不对参数先验分布做任何假设, 只利用当前观测的数据来对参数进行估计 (Frequentist)

先验分布, 似然函数, 后验分布

• 参数先验分布为$p(\theta )$
• 似然函数为$p(x|\theta )$
• 观测值为$X$
  贝叶斯的思想是根据观测值来调整参数的先验分布从而得到参数的后验分布, 参数后验分布为
  $$P(\theta |X)=\frac{P(X|\theta )P(\theta )}{{\int }_{{\theta }^{\prime }}P(X|{\theta }^{\prime })p({\theta }^{\prime })d{\theta }^{\prime }}$$

共轭分布

如果参数的后验分布与先验分布属于同一类分布, 那么我们说这种先验分布为共轭分布 (Conjugate prior), 比如

• 似然函数为正太分布时, 如果$\sigma$已知, 关于$\mu$的正太分布是共轭分布
• 似然函数为正太分布时, 如果$\mu$已知, 关于$\sigma$的反Gamma分布是共轭分布

具体共轭分布列表可以参考 https://en.wikipedia.org/wiki/Conjugate_prior
共轭分布的好处在于, 先验与后验分布属于一个大类, 这样计算和理解上都比较方便