（B站）白板推导系列学习笔记（第一节）

频率派VS贝叶斯派

该节介绍了频率派和贝叶斯派的异同和应用点，内容来源于b站up主shuhuai008。

机器学习中的统计问题

在一些典型的机器学习问题中，我们常常会遇到样本X和参数$\theta$, 样本X作为观察到的信息，通常是一个矩阵形式：
$\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& \cdots & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{nn}\end{array}\right]$,然后我们要根据样本来估计参数$\theta$，然后根据概率公式$P(x|\theta )$进行预测。

频率派

频率派是根据极大似然估计(Maximum Likelihood Estimate，MLE)来预测$\theta$，他们认为参数$\theta$是一个未知的常量， 计算公式为：
$$\theta =\underset{\theta }{\mathrm{argmax}}(logP(x|\theta ))$$
添加log的原因是这样可以把连乘变成连加，方便计算。

贝叶斯派

贝叶斯学派认为参数$\theta$不是一个常量，它也是一个变量，同样的服从一个分布，这里假设为$P(\theta )$， 称为先验概率。
然后后我们可以得到如下公式：
$$P(\theta |x)=\frac{P(x|\theta )P(\theta )}{P(x)}$$
其中$P(\theta |x)$是后验概率，$P(x)={\int }_{\theta }P(x|\theta )P(\theta )d\theta$是$x$的分布，得到后验之后我们便可以得到参数$\theta$，用的思想和MLE类似，取后验概率中最大的参数$\theta$即可，即$\theta =\underset{\theta }{\mathrm{argmax}}P(\theta |x)$。

上面也称为最大后验估计，但不等同于贝叶斯估计。贝叶斯估计就是求$P(\theta |x)=\frac{P(x|\theta )P(\theta )}{{\int }_{\theta }P(x|\theta )P(\theta )d\theta }$，然后利用该后验可以进行贝叶斯预测，假设有一个新的样本点$\tilde{x}$，贝叶斯预测就是求$\tilde{x}$在样本$X$下的概率$P(\tilde{x}|X)$，在这里我们充分利用先验的信息，用参数$\theta$沟通起来$\tilde{x}$和$X$，得到概率公式
$P(\tilde{x}|X)={\int }_{\theta }P(\tilde{x},\theta |X)d\theta ={\int }_{\theta }P(\tilde{x}|\theta )P(\theta |x)d\theta$.

总结

频率派跟统计机器学习方法关系比较密切，主要跟机器学习方法的优化模型相关，贝叶斯模型则是与概率图模型相关，本质就是求积分，由于在实际问题中分布不好求出，可以利用一些采样方法近似分布来求积分，比如MCMC（马尔可夫链蒙塔卡罗）采样方法