【深入理解贝叶斯公式】通过最大似然估计、最大后验估计与最小二乘法来阐述

0 Preview

1. 首先理解概率和似然概率的区别

• 概率：指给定参数之后，预测即将发生的事件的可能性；
• 似然概率：已经发生了某些事件，反推最优的参数；
• 最大似然概率：在已知观测数据的前提之下，找到使得似然概率最大的那个参数值。（注意：最大似然估计中概率分布是已知的）

2. 概率（probability）和统计（statistics）是一个东西吗？
   看似两个相近的概念（概率与统计），其研究的问题恰好相反。

• 概率（probability）是已知模型$y_i$和参数$\theta$，推数据$x_i$
• 统计是已知数据$x_i$，推模型$y_i$和参数$\theta$。

3. 本文首先引入Beyas理论，在此基础上对MLE与MAP做出了阐述推导以及举例，最后比较了最大似然估计与最小二乘法的区别

1 贝叶斯公式

1.1 条件概率

1.1.1 引入条件概率的三大公式

乘法公式、全概率公式与贝叶斯公式（本节围绕beyas公式展开说明）

1.1.2 理解先验概率、后验概率与条件概率

简单理解就是：

• 先验概率$P(w_i)$就是已知类别$w_i$并求该类别发生的概率
• 后验概率就是已知样本$X$求其属于类别$w_i$类别的概率$P(w_i|X)$
• 条件概率就是已知类别$w_i$求其样本$X$的概率$P(X|w_i)$，也被称作$w_i$的似然函数

1.1.3 举例让我们更好的理解先验后验

问题描述与解读