频率派和贝叶斯派-机器学习-白板推导笔记1

频率派和贝叶斯派-机器学习-白板推导笔记1

所有内容均为从www.bilibili.com/video/av70839977的视频课中总结，并添加了一些浅薄的个人理解。本人小白，如有错误，欢迎指正。

参数简介：
$$X:data\to X=(x_1,x_2,\cdots ,x_n{)}^T=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{np}\end{array}\right]$$$$\theta :parameter$$$$概率模型：x\sim p(x|\theta )$$

频率派

$\theta ：未知的常量，x服从一定的概率分布，是随机变量。$$${\theta }_{MLE}=\underset{\theta }{\mathrm{argmax}}{\log }^{P(X|\theta )}$$

频率派研究的问题：统计机器学习，最后是一个优化问题。先设计模型，再找lossfunction，最后利用algorithm求解。

贝叶斯派

$\theta :是随机变量服从一定的概率分布\theta \sim P(\theta ),P(\theta )是先验$
贝叶斯公式：$$P(\theta |X)=\frac{P(X|\theta )P(\theta )}{P(X)}\propto P(X|\theta )P(\theta ),其中P(X)={\int }_{\theta }P(X|\theta )P(\theta )d\theta$$$P(X|\theta ):似然,P(\theta ):先验，P(\theta |X)后验$
MAP(最大后验估计):$${\theta }_{MAP}=\underset{\theta }{\mathrm{argmax}}P(\theta |X)=\underset{\theta }{\mathrm{argmax}}P(X|\theta )P(\theta )$$
MAP不是标准的贝叶斯估计，标准贝叶斯估计如下：$$P(\theta |X)=\frac{P(X|\theta )P(\theta )}{{\int }_{\theta }P(X|\theta )P(\theta )d\theta }（这个积分很难求）$$
贝叶斯预测：$已知X，现有一个新数据\tilde{x}，求P(\tilde{x}|X)$
$$P(\tilde{x}|X)={\int }_{\theta }P(\tilde{x},\theta |X)d\theta ={\int }_{\theta }P(\tilde{x}|\theta )P(\theta |X)d\theta$$这就是为什么我们要求后验概率。
贝叶斯派研究的问题：概率图模型，最后是一个求积分问题（可以用蒙特卡洛模拟来求解）。