2-频率学派 vs 贝叶斯

频率学派 vs 贝叶斯

内容来源： B站up:shuhuai008

1. 给定数据X和参数$\theta$：

• 频率学派认为参数$\theta$为未知的，x为随机变量，使用最大似然估计(MLE)获得估计值。

• 贝叶斯学派认为参数$\theta$也是随机变量，服从先验分布$p(\theta )$。

  MAP使后验概率最大的点为估计：${\theta }_{MAP}=\arg {\max }_{\theta }P(\theta \mid X)=\arg {\max }_{\theta }P(X\mid \theta )\cdot P(\theta )$

  贝叶斯预测：已知样本X，新样本$\hat{x}$，求$p(\hat{x}|X)={\int }_{\theta }p(\hat{x},\theta |X)d\theta ={\int }_{\theta }p(\hat{x}|\theta )p(\theta |X)d\theta$。

2. 延伸

• 贝叶斯延伸出来概率图模型，求解分母$p(X)$实际上是一个积分问题，常使用MCMC
• 频率学派延伸出来是统计机器学习，往往是一个优化问题：
  • 建立概率模型
  • 建立损失函数
  • 优化损失函数

推荐资料

1. 书籍

• 李航《统计学习方法》——侧重统计机器学习方法，主要设计的算法：感k朴决逻，支提E隐条。

• 周志华《机器学习》（西瓜书）——比较全面

• PRML——贝叶斯角度。主要内容：回分神核稀，图混近采连，顺组

• MLAPP——比较全面，侧重贝叶斯

• ESL——侧重频率角度

• deep learning(花书)——深度学习

2. 视频

• 台大 林轩田 基石，技法
• 张志华 机器学习导论（频率角度）；统计机器学习（贝叶斯角度，偏数学比较多）
• 吴恩达 CS229 斯坦福版
• 徐亦达 概率模型（比较深入），GitHub上的notes比较好
• 李宏毅 ML(2017)；MLDS（2018）