Probability and statistics (part I)

第一章 事件的概率

关键词：试验 事件 概率

Remarks:

1. 这是陈希孺的《概率论与数理统计》教材的笔记;

2. 本章介绍了概率的计算对象、计算方式，是最基本的。

   • 首先是事件的定义。我们研究一些现象往往会提出问题，根据问题可以提出假设，并可通过设计试验或者观察（之后统一为试验）来搜集数据最后验证假设是否合理（即假设检验）。试验的一个可能结果，就称为事件。试验的结果有时会由单一事件来构成，这就是基本事件。
   • 概率则是对一个事件发生的可能性大小的刻画，是事件的函数。柯尔莫戈洛夫在1933年建立了柯氏公理，在sigma-代数上定义了概率函数：
   • a, P是一个0到1的函数；
   • b, P(空集)=0，P(全集)=1；
   • c, P满足可列可加性），
     在这个柯氏公理体系下搭建了现代概率论这一宏伟大厦。
   • 然后在事件之间关系上定义了事件的运算（也即集合的运算），讲授事件运算与概率计算的关系。这里有两个重要概念，事件的互斥与独立。由事件的互斥推出概率的加法定理，由事件独立推出概率乘法定理。这两个定理在简化概率计算中起了重要作用。事件互斥的特殊情况是完备事件群(partition),这里可以由加法定理推出全概率公式：；
     $$P(A)=\sum_i P(A|\Omega_i)P(\Omega_i)$$
   • 事件不独立则引出了条件概率定义$P(A|B)=P(AB)/P(B)$。事件不独立说明两个事件的发生会相互影响，发生了B会对A发生的概率进行更新(update)。

   • 这里就引出了贝叶斯公式与贝叶斯理论：由结果推原因:
     

     $$P(\Omega_i|A)=\frac{P(A|\Omega_i)P(\Omega_i)}{\sum_i {P(A|\Omega_i) P(\Omega_i)}}$$

   • 作为例子，本章讲授了古典概率的几个典型概率模型，教授如何巧妙的对等可能事件计数。$P(case)=M/N$,如何准确的求得$M$和$N$。这里需要仔细的思考，合理选择一个等可能事件的定义方式，进而进行计数。

---

第二章 随机变量及概率分布

关键词：随机变量的分布；联合分布；边缘分布；条件分布；随机变量的独立性；

条件密度定义：给定$X_2$等于一个值下的$X_1$的条件密度：
$f_1(x_1|x_2)=f(x_1,x_2)/f_2(x_2)$;
其中$f(x_1,x_2),f_2(x_2)$分别是联合密度和边缘密度;

随机变量的函数的概率分布

• 一个变量时,$Y=g(X)$的分布为，$l(y)=f(h(y)) \lvert h'(y)\rvert$,其中$h(y)$为$g(x)$的反函数；
• 两个变量$(X_1,X_2)$,p.d.f为$f(x_1,x_2)$变换为$Y_1 = g_1(X_1,X_2),Y_2 = g_2(X_1,X_2)$, 雅克比行列式:

J(y1,y2)=