1.基础
事件独立:P(AB)=P(A)P(B) ;
古典概型:有限、等可能、最简单;
几何概型:无限、有限的几何区域、等可能;
伯努利概型:每次实验独立,只有A与
A
‾
\overline{A}
A两种结果;
条件概率:A在已知B发生了的概率,称为在B发生下A的条件概率;
乘法公式:P(AB)=P(A)P(B|A)=P(B)P(A|B)
P(AB)=P(A)-P(A
B
‾
\overline{B}
B) ;
全概率公式:P(A)=P(A|B1)P(B1)+……+P(A|Bn)P(Bn)
B1……Bn是对样本空间的划分,A是其上的一个事件;为了把导致A发生的概率找全;
二项式定理:
Pn(k)=Cknpkqn-k
A在n次实验中发生k次的概率。
2.贝叶斯公式
P
(
B
i
∣
A
)
=
P
(
A
∣
B
i
)
P
(
B
i
)
∑
j
=
1
n
P
(
A
∣
B
j
)
P
(
B
j
)
P(B~i~|A)=\frac{P(A|B~i~)P(B~i~)}{\sum_{j=1}^{n}P(A|B~j~)P(B~j~)}
P(B i ∣A)=∑j=1nP(A∣B j )P(B j )P(A∣B i )P(B i )
上面是乘法公式,下面是全概率公式,证明:
P
(
B
i
∣
A
)
=
P
(
B
i
A
)
P
(
A
)
P(B~i~|A)=\frac{P(B~i~A)}{P(A)}
P(B i ∣A)=P(A)P(B i A)
- 条件概率公式:原因发生—>结果(由原因推出结果)
(先验概率公式:根据经验,或者叫做根据已知的数据推出来) - 全概率公式:我们很好由已知的数据求得P(Ci),但是很难求得P(x),故可以转化为:P(x)=(i从1–>n求和)(P(xCi));
- 贝叶斯公式(后验概率公式):已知结果,反推原因出现的可能性。比如已知某个类具有某种属性,那么它属于哪个类别(具有标签),这种就是后验概率。
- 贝叶斯公式用于机器学习中的贝叶斯分类模型,主要是用训练数据去学习一个模型(模型计算出所有的P(Ci)、P(ai|Ci)、P(ai),ai表示的是具体的属性),然后每个待分类的测试样本用贝叶斯进行分类,根据其拥有的属性去计算P(Ci|x)中值最大的那个Ci即可。
全概率是用原因推结果,贝叶斯是用结果推原因。
先验概率(prior probability):指根据以往经验和分析。在实验或采样前就可以得到的概率。事情未发生,只根据以往数据统计,分析事情发生的可能性,即先验概率。P(Bi) ;Bi
是该事件若干可能的前提。
后验概率(posterior probability):指某件事已经发生,想要计算这件事发生的原因是由某个因素引起的概率。事情已发生,已有结果,求引起这事发生的因素的可能性,由果求因,即后验概率。
P(Bi|A);已知结果A,对前提Bi的重新计算。
3.大数定律(Law of the large numbers)
它告诉我们在随机事件的大量重复出现中,往往呈现几乎必然的规律。在试验不变的条件下,重复试验多次,随机事件的概率近似于它出现的频率。揭示了平均结果的稳定性。大数定律的条件:1、独立重复事件;2、重复次数足够多。
4.中心极限定理
指的是(在一定条件下,随机变量个数比较多时)相互独立的随机变量之和近似服从正态分布。
- 所以n个独立同分布的随机变量之和服从正态分布。---->变形之后可以服从标准正态分布。
- 列维中心极限定理:n个独立同分布随机变量之和。
- 拉普拉斯中心极限定理:n次独立重复实验,事件A发生的次数。
5.最大似然估计
一种参数估计方法。利用已知的样本,找出最有可能生成该样本的参数。最大似然估计的思想在于,对于给定的观测数据x,我们希望能从所有的参数中找出能最大概率生成观测数据x的参数作为估计结果。