参数估计方法
概率与统计:
- 概率:已知模型和参数,推数据结果出现的概率
- 统计:已知诸多结果,通过结果推概率分布(概率、参数、模型)
比如,我们现在要抛一个硬币,结果会是正面或者反面。我们可以把这个过程,视作一个系统,我们往系统里输入一个“抛硬币”的事件,系统就会返回一个结果(正面或反面)。所谓模型,就是这个系统在决定输出什么结果的时候,对各个结果分配的权重,权重越大,结果越容易出现。
我们在小学的时候,会经常遇到这样的问题:给了一堆苹果,有红的有绿的,让我们画一个统计表或者统计图,之后算一算拿到红苹果的可能性有多大,这就是一个典型的统计问题,如果苹果够多,我们就可以把红苹果的频率视作概率,也就是我们模型的参数。
贝叶斯定理
贝叶斯法则:
-
贝叶斯法则说了一件事:通常情况下,事件A和事件B发生的条件下的概率 和 事件B在事件A发生的概率 是不同的
P ( A ∣ B ) = P ( B ∣ A ) ⋅ P ( A ) P ( B ) (1.1) P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)} \tag{1.1} P(A∣B)=P(B)P(B∣A)⋅P(A)(1.1)
将底部展开:P ( A ∣ B ) = P ( B ∣ A ) ⋅ P ( A ) P ( B ) = P ( B ∣ A ) ⋅ P ( A ) P ( B ∣ A ) P ( A ) + P ( B ∣ ∼ A ) P ( ∼ A ) (1.2) \begin{aligned} P(A|B) &= \frac{P(B|A) \cdot P(A)}{P(B)}\\ & = \frac{P(B|A) \cdot P(A)} {P(B|A) P(A) + P(B|\sim A)P(\sim A)} \end{aligned} \tag{1.2} P(A∣B)=P(B)P(B∣A)⋅P(A)=P(B∣A)P(A)+P(B∣∼A)P(∼A)P(B∣A)⋅P(A)(1.2)
如果A包含很多种情况,我们就得到贝叶斯公式:
P ( A i ∣ B ) = P ( B ∣ A i ) ⋅ P ( A i ) P ( B ) = P ( A i ) P ( B ∣ A i ) ∑ j = 1 n P ( B ∣ A j ) P ( A j ) (1.3) \begin{aligned}P(A_i|B) &= \frac{P(B|A_i) \cdot P(A_i)}{P(B)}\\ &= \frac{P(A_i)P(B|A_i)}{\sum^n_{j=1}P(B|A_j)P(A_j)} \end{aligned} \tag{1.3} P(Ai∣B)=P(B)P(B∣Ai)⋅P(Ai)=