统计模式识别学习笔记（九）

马尔科夫链蒙特卡洛方法——正弦噪声估计

我们此节试图将一个时间序列模拟成幅值、频率和相位均未知的 $k$ 个正弦信号和。正弦信号的数量作为待估计的未知变量来处理，但是为了简化分析，在此将其看成固定值，同时用 $\psi =({\psi }_1,...,{\psi }_k)$ 表示幅值，用 $\omega =({\omega }_1,...,{\omega }_k)$ 表示频率，用 $\varphi =({\varphi }_1,...,{\varphi }_k)$ 表示相位，数据模拟为
$$y=h(x;\xi )+ϵ=\sum _{j=1}^k{\psi }_{j}cos({\omega }_{j}x+{\varphi }_j)+ϵ$$

其中， ϵ ∼ N ( 0 , σ 2 ) , ξ = { ( ψ j , ω j , ϕ j ) , j = 1 , . . . , k } \epsilon \sim N(0,\sigma^2),\xi=\lbrace (\psi_j,\omega_j,\phi_j),j=1,...,k \rbrace ϵ∼N(0,σ2),ξ={(ψj​,ωj​,ϕj​),j=1,...,k}。

得出下式，说实话这个正态分布看的我也是一知半解，好像和Andrieu and Doucet(1999)一文中的方法和例子有关。
p ( y ∣ x ; θ ) = 1 2 π σ 2 e x p { − ( y − h ( x ; ξ ) ) 2 2 σ 2 } p(y|x;\theta)=\frac{1}{\sqrt{2\pi\sigma^2}}exp\lbrace \frac{-(y-h(x;\xi))^2}{2\sigma^2} \rbrace p(y∣x;θ)=2πσ2 ​1​exp{2σ2−(y−h(x;ξ))2​}

其中，密度参数 $\theta =(\xi ,{\sigma }^2)$ ，训练数据 D = { y i , i = 1 , . . . , n } D=\lbrace y_i,i=1,...,n \rbrace D={yi​,i=1,...,n} 由 $y$ 的 $n$ 个测量值组成，这些测量值在 $x_i=i;i=0,1,...,n-1$ 上获得。设噪声独立，我们有
p ( D ∣ θ ) ∝ ∏ i = 1 n 1 σ e x p { − ( y i − h ( x i ; ξ ) ) 2 2 σ 2 } p(D|\theta)\propto \prod_{i=1}^n\frac{1}{\sigma}exp\lbrace \frac{-(y_i-h(x_i;\xi))^2}{2\sigma^2} \rbrace p(D∣θ)∝i=1∏n​σ1​exp{2σ2−(yi​−h(xi​;ξ))2​}

我们需要做的事情有：

1. 弄清楚给定训练数据下的正弦信号信息；
2. 并对新样本 $x$ 给出预测值 $y$；
3. 使用贝叶斯定理得到后验分布；
4. 用MCMC算法从后验分布中采集样本；
5. 描述感兴趣的参数，得到新样本的预测值；

对不能用解析法计算后验概率的情形，马尔科夫链蒙特卡洛方法提供了一种问题求解的有效方法。该方法的主要优点是具有灵活性。它们使贝叶斯法能够应用于现实问题，而不再需要对先验分布进行强制假设，或简化成似然函数，以使其在数学上易于处理。其主要缺点是，收敛的不确定性，由此导致从采样中估算精度的不确定性和过高的计算代价。