Bayesian estimation of the mean of a normal distribution

最近在学习lsd slam，在depth estimation中，需要用到bayesian estimation, 假设分布为：$y_{n}=N\left ( \Theta, \sigma ^{2} \right )$. 其中$\Theta$为待估计待量，$\sigma$是已知的。在这种情况下，我们假设我们拥有一个conjugate prior $p\left ( \Theta \right )\propto exp\left ( -\frac{1}{2\sigma ^{2}} \left ( \Theta -\mu ^{2} \right )\right )$，即$\Theta \propto N\left ( \mu ,\sigma ^{2} \right )$
下一步，我们需要计算likelihood

$$p\left ( measure\; y_{i} \right )=p\left ( "Y_{i}=y_{i}" \right )=P\left ( y_{i}-\frac{\Delta }{2}\leq Y_{i}\leq y_{i}+\frac{\Delta }{2}|\Theta \right )$$
上述表达式是对连续正态分布的计算公式，取一个很小的 $\Delta$计算出likelihood。对上式进行近似可得 $$\frac{1}{\sqrt{2\pi\sigma ^{2}}}exp\left ( \frac{-1}{2\delta ^{2}} \left ( y_{i}-\Theta \right )^{2}\right )\Delta$$
由bayes估计可知：
$P\left ( \Theta |D\right )\propto P\left ( D|Theta \right )*P\left ( \Theta \right )$，其中 $P\left ( \Theta |D \right )\propto \coprod_{i=1}^{n}exp\left ( -\frac{1}{2\sigma ^{2}}\left ( y_{i}-\Theta \right )^{2} \right )P\left ( \Theta \right )$，即
$P\left ( \Theta |D \right )\propto exp\left (\sum_{i=1}^{n} -\frac{1}{2\sigma ^{2}}\left ( y_{i}-\Theta \right )^{2} \right )P\left ( \Theta \right )$，对于这里，有一个小的tricky，即可将前面的表达式表达为： $P\left ( \Theta |D \right )\propto exp\left (\sum_{i=1}^{n} -\frac{1}{2\sigma ^{2}}\left ( y_{i}-\bar{y}+\bar{y}-\Theta \right )^{2} \right )P\left ( \Theta \right )$，化简得: $$P\left ( \Theta |D \right )\propto exp\left ( -\frac{1}{2\sigma ^{2}}\sum_{i=1}^{n}\left ( (y_{i}-\bar{y})^{2}+(\bar{y}-\Theta)^{2} +2* (y_{i}-\bar{y})* (\bar{y}-\Theta)\right ) \right )P\left ( \Theta \right )$$
对于第三项sum之后为0，对于第一项化简可得：
$$\propto exp\left ( -\frac{1}{2\sigma ^{2}}\left ( n\sigma ^{2}+n\left ( \bar{y}-\Theta \right )^{2} \right ) \right )P\left ( \Theta \right )$$
因此我们可得：
$$P\left ( \Theta \right )\propto exp\left ( -\frac{n\left ( \bar{y}-\Theta \right )^{2}}{2\sigma ^{2}} -\frac{\left ( \Theta -\mu _{0} \right )^{2}}{2\sigma _{0}^{2}} \right )$$
对上式取对数，并对 $\Theta$求偏导数，懒得敲公式了，直接给出所有最后的结果：