统计自然语言处理概率论和信息论基本概念及其推导过程

最近看《统计自然语言处理》，遇到不少公式，在此做一下笔记，写下一些关键知识点和关键公式的推导过程。下面是书中第二章的主要内容。

2.1 概率论基本概念

2.1.1 概率

概率的三个公理
(1) 非负性： $P(A)\geq0$
(2) 规范性： $P(\Omega)=1$
(3) 可列可加性：
事件$A_1,A_2,...,A_i,...$互不相容（$A_i \cap A_j=\varnothing$），则有

$$P(\bigcup_{i=0}^ \infty A_i)=\sum_{i=0}^ \infty P(A_i)$$

2.1.3 条件概率

如果$A$和$B$是样本空间$\Omega$上的两个事件，$P(B)>0$，那么在给定$B$时$A$的条件概率$P(A \mid B)$为

$$P(A \mid B)=\frac{P(A \cap B )}{P(B)}$$

概率的乘法定理

$$P(A \cap B) = P(B)P(A \mid B)=P(A)P(B \mid A)$$

其一般形式为

$$P(A_1 \cap \cdots \cap A_n)=P(A_1)P(A_2 \mid A_1)P(A_3 \mid A_1 \cap A_2)\cdots P(A_n \mid \bigcap_{i=1}^{n-1}A_i)$$

条件概率的三个基本性质：
(1) 非负性： $P(A \mid B)\geq0$
(2) 规范性： $P(\Omega \mid B)=1$
(3) 可列可加性：如果事件$A_1,A_2,\cdots,A_i,\cdots$互不相容，则

$$P(\sum_{i=1}^ \infty A_i \mid B)= \sum_{i=1}^ \infty P(A_i \mid B)$$

如果$A_i,A_j$条件独立，当且仅当

$$P(A_i,A_j \mid B)=P(A_i \mid B)P(A_j \mid B)$$

2.1.4 贝叶斯法则

假设$B$是样本空间$\Omega$的一个划分，即$\sum_i B_i= \Omega$。如果$A \subseteq \bigcup_i B_i$，并且$B_i$互不相交，那么$A= \sum_{i=1} B_i A$，于是$P(A)= \sum_{i=1}P(B_i A)$。由乘法定理可得

$$P(A)= \sum_{i}P(A \mid B_i)P(B_i)$$

上式称为全概率公式。
下面给出贝叶斯法则的精确描述。
假设$A$为样本空间的事件，如果$A\subseteq\bigcup_i B_i$，$P(A)>0$，并且$i \neq j$，$B_i\cap B_j= \varnothing$， P(B