白板推导1-频率派vs贝叶斯派

数据表示
X:表示样本数据：
{ x 1   x 2   . . .   x n } T \{x_1\ x_2 \ ... \ x_n\}^T {x1​ x2​ ... xn​}T,其中$x_i是p维的$，整体样本是$n\ast p维$
也可以表示为：
$$\left[\begin{array}{ccccc}{x}_{11}& x_{12}& x_{13}& ...& x_{1p}\\ x_{21}& x_{22}& x_{23}& ...& x_{2p}\\ x_{31}& x_{32}& x_{33}& ...& x_{3p}\\ & & ..............& & \\ x_{n1}& x_{n2}& x_{n3}& ...& x_{np}\end{array}\right]$$
频率派：
$假定\theta 是未知的常量$, 通过极大似然(MLE )方法获取$\theta$
贝叶斯派：
$\theta 不是未知的常量，是服从一定的概率分布$, 通过贝叶斯定理获取后验 $\theta$
贝叶斯定理:
$p(\theta |x)=\frac{p(x|\theta )p(\theta )}{p(x)}$
其中：
$p(\theta |x)称为后验，p(x|\theta )称为似然，p(\theta )称为先验$

由于$p(x)对于\theta 的分布无关，所以p(\theta |x)可以正比于p(x|\theta )p(\theta )$
也叫最大后验概率MAP
估计$\theta 的目的：求出概率分布的整体$
求出概率分布后是为了预测，在给定$X服从于p(\theta )分布$
当有新数据$\hat{x},求p(\hat{x}|X)可以通过\theta 把二者联系起来$,
$p(\hat{x}|X)={\int }_{\theta }p(\hat{x},\theta |X)d\theta ={\int }_{\theta }p(\hat{x}|\theta )p(\theta |X)d\theta$
频率派发展为统计机器学习，本质是优化问题：
步骤：
1：建模 （概率模型，生成模型，判别模型等）
2：设计损失函数
3：梯度下降求解
贝叶斯派本质是求积分，可求解析解或者近似解，
近似解的方法包括MCMC,蒙特卡洛，吉布斯等采样方法