极大似然估计与贝叶斯估计

《概率论》
条件概率：$P(B|A)=\frac{P(AB)}{P(A)}$

乘法公式：$P(AB)=P(A)P(B|A)$

全概率公式：$P(A)=\sum _{i=1}^{n}P(A{B}_i)=\sum _{i=1}^{n}P(B_i)P(A|B_i)$

贝叶斯公式：$P(B_i|A)=\frac{P(A{B}_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{\sum _{j=1}^{n}P(B_j)P(A|B_j)}$

---

基本概率公式
加法规则：$P(x)=\sum _{y}P(x,y)$——对应于《概率论》中的全概率公式
乘法规则：$P(x,y)=P(x)P(y|x)$——对应于《概率论》中的乘法公式
其中$x$和$y$是随机变量

---

贝叶斯定理
假设随机变量$D$表示数据，随机变量$\theta$表示模型参数。
$$P(\theta |D)=\frac{P(\theta )P(D|\theta )}{P(D)}$$
$P(\theta )$是先验概率，$P(\theta |D)$是后验概率，$P(D|\theta )$是似然函数。

---

统计学两大学派

• 经典统计学派（频率学派）认为模型已定，参数未知，参数是固定的，只是还不知道；
• 贝叶斯统计学派是通过观察到的现象对概率分布中的主观认定不断进行修正。

极大似然估计属于经典统计学派的策略，贝叶斯估计属于贝叶斯统计学派的策略。
假设先验分布是均匀分布，取后验概率最大，就能从贝叶斯估计得到极大似然估计。