白板机器学习推导系列（频率学派vs贝叶斯学派）学习笔记（二）

频率派 vs 贝叶斯派

• X：data -> $X=(x_1,x_2,...,x_N{)}_{N\ast P}^T$
  
• $\theta$：parameter
• 假设$x\backsim p(x|\theta )$：x服从$p(x|\theta )$，这是概率模型

频率学派

• 频率派认为：$\theta$是一个未知的常量，X是一个随机变量；关心的数据，需要估计$\theta$，常用极大似然估计：${\theta }_{MLE}=\underset{\theta }{\mathrm{argmax}}logP(x|\theta )$ = $\underset{\theta }{\mathrm{argmax}}\pounds (\theta )$
• 每个样本$x_i$独立同分布(iid)服从$P(x|\theta )$，$P(X|\theta )$ = ${\prod }_{i=1}^{n}P(x_i|\theta )$，加上log用于简化运算。
• 频率派->统计机器学习->最优化问题：1、设计模型；2、定义loss function; 3、梯度下降。

贝叶斯学派

• 贝叶斯学派认为：$\theta$也是一个随机变量，$\theta \backsim p(\theta )$，$p(\theta )$一般称为先验。借助贝叶斯定理，把参数的先验和后验用似然联系起来。
• 贝叶斯定理：
  
• MAP（最大后验概率估计）：${\theta }_{MAP}=\underset{\theta }{\mathrm{argmax}}P(\theta |x)=\underset{\theta }{\mathrm{argmax}}P(x|\theta )P(\theta )$
  
• 贝叶斯预测：X，来了个新样本$x_p$，预测问题就是要求:
  
• 贝叶斯->概率图模型，最重要的就是求积分。