机器学习-白板推导 P1

频率派VS贝叶斯派

符号定义

$$\begin{array}{rl}& X:data\to X=(x_1{x}_2...x_N{)}_{N\times p}^T={\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{N1}& x_{N2}& \cdots & x_{Np}\end{array}\right]}_{N\times p}\\ & \theta :parameter\\ & x\sim p(x|\theta )\end{array}$$

频率派

思想
$\theta$是未知的常量，$X$是随机变量。所以频率派估计$\theta$。
方法
MLE极大似然估计
$${\theta }_{MLE}=arg\underset{\theta }{\max }logp(x|\theta )$$
频率派->统计机器学习
优化问题

贝叶斯派

思想
$\theta$也是随机变量，$\theta \sim p(\theta )$, 一般称 $p(\theta )$为先验。
先验(prior)：$P(\theta )$
后验(posterior)：$p(\theta |x)$
似然(likehood)：$p(x|\theta )$
$p(x)={\int }_{\theta }p(x|\theta )p(\theta )d\theta$
$$p(\theta |x)=\frac{p(x|\theta )p(\theta )}{p(x)}$$
方法
MAP极大后验概率
由于$p(x)$为常数
$${\theta }_{MAP}=arg\underset{\theta }{\max }p(\theta |x)=arg\underset{\theta }{\max }p(x|\theta )p(\theta )$$
贝叶斯估计:
$$p(\theta |x)=\frac{p(x|\theta )p(\theta )}{{\int }_{\theta }p(x|\theta )p(\theta )d\theta }$$
贝叶斯预测：
已知样本数据$X$，新数据$\hat{x}$，求$p(\hat{x}|X)$。
$$\begin{array}{rl}p(\hat{x}|X)& ={\int }_{\theta }p(\hat{x},\theta |X)d\theta \\ & ={\int }_{\theta }p(\hat{x}|\theta )p(\theta |X)d\theta \end{array}$$

注意：
$p(\hat{x},\theta |X)=p(\hat{x}|\theta X)p(\theta |X)$
是否是因为考虑$\hat{x}$与$X$独立，所以
$p(\hat{x},\theta |X)=p(\hat{x}|\theta )p(\theta |X)$

贝叶斯->概率图模型
求积分问题 Monte Carlo Method

B站链接：
https://www.bilibili.com/video/av31950221?from=search&seid=8309397892501615322