最近看《统计自然语言处理》,遇到不少公式,在此做一下笔记,写下一些关键知识点和关键公式的推导过程。下面是书中第二章的主要内容。
2.1 概率论基本概念
2.1.1 概率
概率的三个公理
(1) 非负性: P(A)≥0
(2) 规范性: P(Ω)=1
(3) 可列可加性:
事件 A1,A2,...,Ai,... 互不相容( Ai∩Aj=∅ ),则有
P(⋃i=0∞Ai)=∑i=0∞P(Ai)
2.1.3 条件概率
如果 A 和
P(A∣B)=P(A∩B)P(B)
概率的乘法定理
P(A∩B)=P(B)P(A∣B)=P(A)P(B∣A)
其一般形式为
P(A1∩⋯∩An)=P(A1)P(A2∣A1)P(A3∣A1∩A2)⋯P(An∣⋂i=1n−1Ai)
条件概率的三个基本性质:
(1) 非负性: P(A∣B)≥0
(2) 规范性: P(Ω∣B)=1
(3) 可列可加性:如果事件 A1,A2,⋯,Ai,⋯ 互不相容,则
P(∑i=1∞Ai∣B)=∑i=1∞P(Ai∣B)
如果 Ai,Aj 条件独立,当且仅当
P(Ai,Aj∣B)=P(Ai∣B)P(Aj∣B)
2.1.4 贝叶斯法则
假设 B 是样本空间
P(A)=∑iP(A∣Bi)P(Bi)
上式称为全概率公式。
下面给出贝叶斯法则的精确描述。
假设 A 为样本空间的事件,如果