0 Preview
- 首先理解概率和似然概率的区别
- 概率:指给定参数之后,预测即将发生的事件的可能性;
- 似然概率:已经发生了某些事件,反推最优的参数;
- 最大似然概率:在已知观测数据的前提之下,找到使得似然概率最大的那个参数值。(注意:最大似然估计中概率分布是已知的)
- 概率(probability)和统计(statistics)是一个东西吗?
看似两个相近的概念(概率与统计),其研究的问题恰好相反。
- 概率(probability)是已知模型 y i y_i yi和参数 θ \theta θ,推数据 x i x_i xi
- 统计是已知数据 x i x_i xi,推模型 y i y_i yi和参数 θ \theta θ。
- 本文首先引入Beyas理论,在此基础上对MLE与MAP做出了阐述推导以及举例,最后比较了最大似然估计与最小二乘法的区别
1 贝叶斯公式
1.1 条件概率
1.1.1 引入条件概率的三大公式
乘法公式、全概率公式与贝叶斯公式(本节围绕beyas公式展开说明)
1.1.2 理解先验概率、后验概率与条件概率
简单理解就是:
- 先验概率 P ( w i ) P(w_i) P(wi)就是已知类别 w i w_i wi并求该类别发生的概率
- 后验概率就是已知样本 X X X求其属于类别 w i w_i wi类别的概率 P ( w i ∣ X ) P(w_i|X) P(wi∣X)
- 条件概率就是已知类别 w i w_i wi求其样本 X X X的概率 P ( X ∣ w i ) P(X|w_i) P(X∣wi),也被称作 w i w_i wi的似然函数
1.1.3 举例让我们更好的理解先验后验
问题描述与解读