频率派与贝叶斯派

  对概率的诠释有两大学派，一种是频率派，另一种是贝叶斯派。

  其中数据集的数学符号如下所示：

$$X={\left(\begin{array}{ll}{x}_1& x_2\cdots x_N\end{array}\right)}_{N\times P}^T=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& ⋮& ⋮\\ x_{N1}& x_{N2}& \cdots & x_{NP}\end{array}\right]$$

  并且数据集服从于以下分布：
$$X\sim P(X|\theta )$$

1. 频率派

  频率派认为模型参数$\theta$是未知的常量，而$X$是随机变量。那么则可以使用极大似然估计(MLE)来求参数$\theta$。

$$MLE={\theta }_{MLE}=\underset{\theta }{\mathrm{argmax}}log[P(X|\theta )]=\underset{\theta }{\mathrm{argmax}}log[\prod _{i=1}^{n}P(x_i|\theta )]=\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^{n}log[P(x_i|\theta )]$$

$$L(\theta )=log[P(X|\theta )]$$

  Q：除了MLE以外，什么时候会使用$\log$变换呢？

2. 贝叶斯派

  贝叶斯派认为参数$\theta$也是随机变量，它服从于一定的概率分布($\theta \sim P(\theta )$)，即先验分布。

  根据贝叶斯定理，可以求得后验分布：
$$P(\theta |X)=\frac{P(\theta )\cdot P(X|\theta )}{P(X)}$$

  其中$P(X)=\int P(\theta )\cdot P(X|\theta )d\theta$，贝叶斯派则使用最大后验估计来得到参数$\theta$(之所以分母被省去是由于分母与$\theta$无关)：
$$\theta =\underset{\theta }{\mathrm{argmax}}P(\theta |X)=\mathrm{argmax}[P(\theta )\cdot P(X|\theta )]$$

  标准的贝叶斯估计就是要求出$P(\theta |X)$，那么怎么对新数据进行预测($P(\tilde{x}|X)$)呢？

$$P(\tilde{x}|X)=\int P(\tilde{x},\theta |X)d\theta =\int \frac{P(\tilde{x}|\theta )\cdot P(\theta )}{P(X)}d\theta$$

$$=\int P(\tilde{x}|\theta )\cdot P(\theta |X)d\theta$$
  所以由上式可得，贝叶斯最终需要计算后验概率$P(\theta |X)$，而后验概率的求解本质上是求积分问题，比如使用MCMC方法求解。贝叶斯学习对应的是概率图模型。

  频率派对应的是统计机器学习，本质上是优化问题，它的三要素为：

1. 假设空间
2. 损失函数
3. 优化算法（梯度下降、牛顿法）