使用贝叶斯估计更新显函数参数

问题设定

假设我们有以下映射关系：

$$f(x)={\theta }_1\times \exp (-y-\exp (-y))$$

其中

$$y={\theta }_1\times (x-{\theta }_2)$$

我们将对参数 ${\theta }_1$ 和 ${\theta }_2$ 进行贝叶斯更新。

数据

假设新的数据点为：

$$D=\{(x_1,f_1),(x_2,f_2),\dots ,(x_5,f_5)\}$$

步骤

1. 定义先验分布

选择参数的先验分布。假设${\theta }_1$ 和 ${\theta }_2$的先验是正态分布：

$${\theta }_1\sim \mathcal{N}({\mu }_1,{\sigma }_1^2)$$

$${\theta }_2\sim \mathcal{N}({\mu }_2,{\sigma }_2^2)$$

2. 定义似然函数

对于给定的数据点 ((x_i, f_i))，似然函数可以定义为：

$$L({\theta }_1,{\theta }_2|D)=\prod _{i=1}^5\mathcal{N}\left(f_i\mid {\theta }_1\times \exp (-y_i-\exp (-y_i)),{\sigma }^2\right)$$

其中 ( y_i = \theta_1 \times (x_i - \theta_2) )。

3. 计算后验分布

根据贝叶斯公式，后验分布为：

$$p({\theta }_1,{\theta }_2|D)\propto L({\theta }_1,{\theta }_2|D)\cdot p({\theta }_1)\cdot p({\theta }_2)$$

具体来说：

$$p({\theta }_1,{\theta }_2|D)\propto \prod _{i=1}^5\exp \left(-\frac{(f_i-{\theta }_1\times \exp (-y_i-\exp (-y_i)){)}^2}{2{\sigma }^2}\right)\cdot \exp \left(-\frac{({\theta }_1-{\mu }_1{)}^2}{2{\sigma }_1^2}\right)\cdot \exp \left(-\frac{({\theta }_2-{\mu }_2{)}^2}{2{\sigma }_2^2}\right)$$

4. 最大化后验分布

通过最大化后验分布来找到参数的更新估计：

$$\arg \underset{{\theta }_1,{\theta }_2}{\max }\log p({\theta }_1,{\theta }_2|D)$$

这等价于最小化负对数后验：

$$-\log p({\theta }_1,{\theta }_2|D)=\sum _{i=1}^5\frac{(f_i-{\theta }_1\times \exp (-y_i-\exp (-y_i)){)}^2}{2{\sigma }^2}+\frac{({\theta }_1-{\mu }_1{)}^2}{2{\sigma }_1^2}+\frac{({\theta }_2-{\mu }_2{)}^2}{2{\sigma }_2^2}$$