机器学习：贝叶斯_1：贝叶斯估计

$\beta$ 密度函数

• $\beta$密度函数可以用于0~~1直接的连续随机变量

$p(r)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\gamma^{\alpha-1}(1-\gamma)^{\beta-1}$

• $\Gamma(Z)是$ $\gamma$ $函数$

---

后验概率

• r视为随机变量R；

$p(r|y_N)=\frac{P(y_N|r)p(r)}{P(y_N)}$

• $P(y_N|r)$ : 似然值；在一个特定的 r下，观测到$y_N$ 的可能性
• $p(r)$ : 先验概率
• $P(y_N)$ : 边缘分布

共轭先验

• 如果似然和先验是一对共轭，那么后验和先验具有相同的形式

先验	似然
高斯	高斯
beta	二项
gamma	高斯
狄利克雷	多维正态

$p(r | y_N) ->P(y_N|r)p(r)$ ； 二项分布和$\beta$ 分布代替右式

---

贝叶斯推论

• 先验和后验的共轭是罕见的

二值响应

• t={0,1} ；$w$：参数 ；$X$: 观测对象

$p(w|t, X)=\frac{p(t|X, w)p(w)}{p(t|X)}$

其中：$p(t|X)=\int p(t|X,w)p(w)dw$

• 先验

  1. p(w)：高斯分布
  2. $p(w) = N (0, \sigma^2I )$
  3. 记：$p(w|\sigma^2)$

• 似然

  1. 设独立同分布，$p(t|X, w)=\prod_{n=1}^N p(t_n|X_n, w)$
  2. 设为sigmod函数

• 边际似然

  1. $Z^{-1}=p(t|X, \sigma^2)=\int p(t|X,w) p(w| \sigma^2)dw$

• 后验概率：$p(w|X,t,\sigma^2)=Z^{-1}g(w;X,t,\sigma^2)$

三种解决办法

• 找到与最高后验概率一致的 $w$的单值.$Z^{-1}不是w的函数$
• 近似$p(w|X,t,\sigma^2)$
• 后验概率采用

点估计：最大后验

1. $logg(w;X,t)=logp(t|X,w)+log p(w|\sigma^2)$
2. 优化算法求解w

拉普拉斯近似

• 高斯近似感兴趣的密度

  1. $log p(w;X, t, \sigma^2)\approx 泰勒展开，忽略三阶$
  2. $log p(w;X, t, \sigma^2)\approx logg(\hat{w}; X ,t , \sigma^2)-\frac{v}{2}(w-\hat{w})^2$
  3. $p(w|X,t,\sigma^2) \approx N(\mu, \sum)$

抽样技术

---