参数估计方法简述（贝叶斯估计，最大后验概率估计，极大似然估计）

参数估计方法

---

概率与统计：

• 概率：已知模型和参数，推数据结果出现的概率
• 统计：已知诸多结果，通过结果推概率分布（概率、参数、模型）
  比如，我们现在要抛一个硬币，结果会是正面或者反面。我们可以把这个过程，视作一个系统，我们往系统里输入一个“抛硬币”的事件，系统就会返回一个结果（正面或反面）。所谓模型，就是这个系统在决定输出什么结果的时候，对各个结果分配的权重，权重越大，结果越容易出现。
  我们在小学的时候，会经常遇到这样的问题：给了一堆苹果，有红的有绿的，让我们画一个统计表或者统计图，之后算一算拿到红苹果的可能性有多大，这就是一个典型的统计问题，如果苹果够多，我们就可以把红苹果的频率视作概率，也就是我们模型的参数。

---

贝叶斯定理

贝叶斯法则：

• 贝叶斯法则说了一件事：通常情况下，事件A和事件B发生的条件下的概率 和 事件B在事件A发生的概率 是不同的
  $$P(A|B)=\frac{P(B|A)\cdot P(A)}{P(B)}\text{\hspace{1em}(1.1)}$$
  将底部展开：

  $$\begin{array}{rl}P(A|B)& =\frac{P(B|A)\cdot P(A)}{P(B)}\\ & =\frac{P(B|A)\cdot P(A)}{P(B|A)P(A)+P(B|\sim A)P(\sim A)}\end{array}\text{\hspace{1em}(1.2)}$$

  如果A包含很多种情况，我们就得到贝叶斯公式：

$$\begin{array}{rl}P(A_i|B)& =\frac{P(B|A_i)\cdot P(A_i)}{P(B)}\\ & =\end{array}$$