白板推导机器学习-开篇

频率派 VS 贝叶斯派

机器学习中引入概率很自然，把数据当做是一个概率模型。
X：表示数据 data ——> 有 N 个样本，每个样本维度为 P： $X=(x_1{x}_2...x_N{)}_{N\times P}^T$
$\theta$：表示参数 parameter

频率派：认为模型的参数 $\theta$ 是一个未知的常量。数据 X 是一个随机变量，关心的是数据。需要将未知的常量 $\theta$ 给估计出来。常用的方法是最大似然估计：

MLE：极大似然估计
$${\theta }_{MLE}=argma{x}_{\theta }logP(X|\theta )$$

$$x_i{\sim }^{iid}p(x|\theta )$$

贝叶斯派：和频率派不同，贝叶斯派认为参数 $\theta$ 不是常量，$\theta$ 本身也是一个随机变量，服从一个概率分布。$\theta \sim p(\theta )$ 称为先验。

借助贝叶斯定理把参数的先验和后验用似然将其连接起来：
$$p(\theta |X)=\frac{p(X|\theta )\ast p(\theta )}{p(X)}\propto p(X|\theta )\ast p(\theta )$$

分母 $p(X)={\int }_{\theta }p(X|\theta )\ast p(\theta )d\theta$

MAP:最大后验估计
从严格意义上讲，MAP并不是标准的贝叶斯方法。标准的贝叶斯方法就是要求积分！

贝叶斯估计：标准的贝叶斯估计就是要求解 ——> $p(\theta |X)=\frac{p(X|\theta )\ast p(\theta )}{{\int }_{\theta }p(X|\theta )\ast p(\theta )d\theta }$
贝叶斯估计的目的就是要求概率分布$p(\theta |X)$整体，那么求出这个后验概率分布能够做什么呢？可以引入一个贝叶斯预测！

贝叶斯预测：已知数据X，若引入一个新数据 $\tilde{x}$ ，这个预测问题就是要求 $p(\tilde{x}|X)={\int }_{\theta }p(\tilde{x},\theta |X)d\theta ={\int }_{\theta }p(\tilde{x}|\theta )p(\theta |X)d\theta$(此时，需要引入参数 $\theta$作为已知数据X和未知数据 $\tilde{x}$之间的桥梁)
所以在做预测问题时，我们必须要先求解出后验概率 $p(\theta |X)$

我们可以发现在求后验的过程中其实是一个积分问题，要在整个参数空间中对其进行求积分，这个计算是非常复杂的，或者说有时候根本无法求解。所以就引申出很多新的计算方法。

贝叶斯 ——> 概率图模型
贝叶斯本质上 ——> 求积分 ——> (若解析解无法求解，可以用数值积分，用蒙特卡洛的方法MCMC采样方法来求积分)

频率派 ——> 统计机器学习
实际上是一个优化问题：
1.设计模型：可以是一个概率模型，或者一个非概率模型
2.导出一个Loss Function
3.Algorithm：梯度下降、拟牛顿法等
起本质上是一个优化问题。