贝叶斯意义下的最优

贝叶斯意义下的最优

定义1(Loss Function): A loss function or cost function $C(\mathbf{\theta },\mathbf{a})$ is a scalar-valued function which determines the loss of taking the action $\mathbf{a}$ when the true parameter value is $\mathbf{\theta }$. The action (or control) is the statistical decision to be made based on the currently available information.

一般地，Utility Function$:U(\mathbf{\theta },\mathbf{a})$与Loss Function$:C(\mathbf{\theta },\mathbf{a})$是对应的，它们分别对应奖励和惩罚，因此可以表示为
$$C(\mathbf{\theta },\mathbf{a})=-U(\mathbf{\theta },\mathbf{a})$$

如果参数$\mathbf{\theta }$的值未知，关于该参数的信息可以用后验分布$p(\mathbf{\theta }|\mathbf{y})$表征，那么很自然的一个选择就是要找到最优的$\mathbf{a}$，使得
$$\mathbf{E}\left[C(\mathbf{\theta },\mathbf{a})|\mathbf{y}\right]=\int C(\mathbf{\theta },\mathbf{a})p(\mathbf{\theta }|\mathbf{y})\text{d}\mathbf{\theta }\text{\hspace{1em}(1)}$$

最小。即，最小化期望损失(minimum of the expected loss)。

式(1)的由来：以MSE为例说明

这里以MSE为例：$C(\mathbf{\theta },\mathbf{a})=(\mathbf{\theta }-\mathbf{a}{)}^T(\mathbf{\theta }-\mathbf{a})$来说明，首先呈现两种MSE：经典MSE(Classical MSE)和贝叶斯MSE(Bayes MSE)：

• 经典MSE：把$\mathbf{\theta }$看作是一个未知但是确定的参数，若估计结果为$\mathbf{a}$
  $$\text{Cmse}(\mathbf{a})=\int (\mathbf{\theta }-\mathbf{a}{)}^T(\mathbf{\theta }-\mathbf{a})p(\mathbf{y};\mathbf{\theta })\text{d}\mathbf{y}\text{\hspace{1em}(2)}$$

• 贝叶斯MSE：把$\mathbf{\theta }$看作是一个要估计的随机变量（随机向量），若估计结果为$\mathbf{a}$
  $$\text{Bmse}(\mathbf{a})=\int \int (\mathbf{\theta }-\mathbf{a}{)}^T(\mathbf{\theta }-\mathbf{a})p(\mathbf{y},\mathbf{\theta })\text{d}\mathbf{y}\text{d}\mathbf{\theta }\text{\hspace{1em}(3)}$$

注意到，经典MSE与贝叶斯MSE的区别是，前者把$\mathbf{\theta }$看作是一个未知但是确定的参数，后者把$\mathbf{\theta }$看作是一个要估计的随机变量（随机向量），贝叶斯MSE的优势在于它能够利用关于$\mathbf{\theta }$的先验信息（比如可以确定$\mathbf{\theta }$在某个范围内），下面的内容都基于Bmse展开。根据$p(\mathbf{y},\mathbf{\theta })=p(\mathbf{\theta }|\mathbf{y})p(\mathbf{y})$，我们可以把Bmse写为：
$$\text{Bmse}(\mathbf{a})=\int \left[\int (\mathbf{\theta }-\mathbf{a}{)}^T(\mathbf{\theta }-\mathbf{a})p(\mathbf{\theta }|\mathbf{y})\text{d}\mathbf{\theta }\right]p(\mathbf{y})\text{d}\mathbf{y}\text{\hspace{1em}(4)}$$

因为$p(\mathbf{y})\ge 0$，所以，对于每一个给定的$\mathbf{y}$，只需要让$[\cdot ]$的值最小，Bmse就是最小的。因此最小化Bmse,即等价于最小化：
$$\int (\mathbf{\theta }-\mathbf{a}{)}^T(\mathbf{\theta }-\mathbf{a})p(\mathbf{\theta }|\mathbf{y})\text{d}\mathbf{\theta }=\mathbb{E}[(\mathbf{\theta }-\mathbf{a}{)}^T(\mathbf{\theta }-\mathbf{a})|\mathbf{y}]\text{\hspace{1em}(5)}$$
式(5)与式(1)是对应的，也因此验证了(1)的正确性。

最优性说明

需要说明，贝叶斯意义下的最优应是相对于损失函数来描述的。下面我们介绍几种常见的损失函数，以及相应的最优估计$\mathbf{a}$。

（1）MSE: 损失函数为
$$C(\mathbf{\theta },\mathbf{a})=(\mathbf{\theta }-\mathbf{a}{)}^T(\mathbf{\theta }-\mathbf{a})$$
依据式(4)和式(5)，对于$[\cdot ]$的项，令
$$\begin{array}{rl}\frac{\partial }{\partial \mathbf{a}}\int (\mathbf{\theta }-\mathbf{a}{)}^T(\mathbf{\theta }-\mathbf{a})p(\mathbf{\theta }|\mathbf{y})\text{d}\mathbf{\theta }& =\int \frac{\partial }{\partial \mathbf{a}}{\Vert \mathbf{a}-\mathbf{\theta }\Vert }_2^2\cdot p(\mathbf{\theta }|\mathbf{y})\text{d}\mathbf{\theta }\\ & =\int 2(\mathbf{a}-\mathbf{\theta })\cdot p(\mathbf{\theta }|\mathbf{y})\text{d}\mathbf{\theta }\\ & =2\int a\cdot p(\mathbf{\theta }|\mathbf{y})\text{d}\mathbf{\theta }-2\int \mathbf{\theta }\cdot p(\mathbf{\theta }|\mathbf{y})\text{d}\mathbf{\theta }\\ & =0\\ \Rightarrow a& =\int \mathbf{\theta }\cdot p(\mathbf{\theta }|\mathbf{y})\text{d}\mathbf{\theta }=\mathbb{E}\left[\mathbf{\theta }|\mathbf{y}\right]\end{array}$$

因此，从最小化贝叶斯MSE的角度来看，最优估计器就是后验均值：$\mathbb{E}\left[\mathbf{\theta }|\mathbf{y}\right]$，我们称该估计器为MMSE。此外，MMSE估计器的Bmse可以表征为：
Bmse ( E [ θ ∣ y ] ) = ∫ [ ∫ ∥ θ − E [ θ ∣ y ] ∥ 2 2 ⋅ p ( θ ∣ y ) d θ ] p ( y ) d y = ∫ tr { Cov [ θ ∣ y ] } ⋅ p ( y ) d y \begin{aligned} \text{Bmse}(\mathbb E \left [ \boldsymbol \theta| \boldsymbol y \right])& = \int \left [ \int { \Vert \boldsymbol \theta- \mathbb E \left [ \boldsymbol \theta| \boldsymbol y \right] \Vert}^2_2 \cdot p(\boldsymbol \theta| \boldsymbol y) \text{d} \boldsymbol \theta \right] p(\boldsymbol y) \text{d} \boldsymbol y \\ & = \int \text{tr} \left \{ \text{Cov}[\boldsymbol \theta| \boldsymbol y] \right \} \cdot p(\boldsymbol y) \text{d} \boldsymbol y \end{aligned} Bmse(E[θ∣y])​=∫[∫∥θ−E[θ∣y]∥22​⋅p(θ∣y)dθ]p(y)dy=∫tr{Cov[θ∣y]}⋅p(y)dy​

（2）绝对误差(Absolute error): 损失函数为
$$C(\mathbf{\theta },\mathbf{a})=\sum _i|{\theta }_i-a_i|$$

下面的推导我们以标量为例，向量可以直接做推广。类比式(4)中的$[\cdot ]$项，若估计结果为$a$，考虑
$$\begin{array}{rl}\int |\theta -a|p(\theta |y)\text{d}\theta & ={\int }_{-\infty }^a(a-\theta )p(\theta |y)\text{d}\theta +{\int }_a^{\infty }(\theta -a)p(\theta |y)\text{d}\theta \end{array}$$

要求解上述积分关于$a$的一阶导，利用Leibnitz rule:
$$\frac{\partial }{\partial u}{\int }_{{\varphi }_1(u)}^{{\varphi }_2(u)}h(u,v)\text{d}v={\int }_{{\varphi }_1(u)}^{{\varphi }_2(u)}\frac{\partial h(u,v)}{\partial u}\text{d}v+\frac{\text{d}{\varphi }_2(u)}{\text{d}u}h(u,{\varphi }_2(u))-\frac{\text{d}{\varphi }_1(u)}{\text{d}u}h(u,{\varphi }_1(u))$$

令$u=a,v=\theta ,h(u,v)=h(a,\theta )=(a-\theta )p(\theta |y)$，则$h(u,{\varphi }_2(u))=h(a,a)=(a-a)p(a|y)=0$，$\frac{\text{d}{\varphi }_1(u)}{\text{d}u}=0$（因为${\varphi }_1(u)=-\infty$与u无关）。而$\frac{\partial h(u,v)}{\partial u}=p(\theta |y)$，因此化简可以得到
$$\frac{\partial }{\partial a}{\int }_{-\infty }^a(a-\theta )p(\theta |y)\text{d}\theta ={\int }_{-\infty }^{a}p(\theta |y)\text{d}\theta$$

类似地，也可以得到
$$\frac{\partial }{\partial a}{\int }_a^{\infty }(\theta -a)p(\theta |y)\text{d}\theta ={\int }_a^{\infty }-p(\theta |y)\text{d}\theta$$

不难得到，要让$\frac{\partial }{\partial a}\int |\theta -a|p(\theta |y)\text{d}\theta =0$，只需令$a$为后验pdf的中值。

因此从最小化绝对误差的角度来看，后验pdf的中值(median of posterior pdf)是最优的。

（3）0-1：损失函数为
$$C(\mathbf{\theta },\mathbf{a})=-\delta (\mathbf{a}-\mathbf{\theta })$$

对于该损失函数，最优的估计结果为
$$\begin{array}{rl}& \underset{\mathbf{a}}{\mathrm{argmin}}\int -\delta (\mathbf{a}-\mathbf{\theta })p(\mathbf{\theta }|\mathbf{y})\text{d}\mathbf{\theta }\\ \iff & \underset{\mathbf{a}}{\mathrm{argmax}}\int \delta (\mathbf{a}-\mathbf{\theta })p(\mathbf{\theta }|\mathbf{y})\text{d}\mathbf{\theta }\\ & \underset{\mathbf{a}}{\mathrm{argmax}}p(\mathbf{a}|\mathbf{y})\end{array}$$

因此从最小化0-1损失函数的角度来看，后验最大值的估计(Maximum a Posterior, MAP)是最优的。

总结

• 从最小化贝叶斯MSE的角度来看，MMSE是最优的。
• 从最小化绝对误差的角度来看，后验pdf的中值(median of posterior pdf)是最优的。
• 从最小化0-1损失函数的角度来看，MAP是最优的。

补充1：当后验分布为高斯分布时，上述三者是等价的。

补充2：要区分LMMSE(线性MMSE)和MMSE。一般地，LMMSE是次优的，只有当MMSE估计器是线性时，LMMSE才是最优的（此时MMSE与LMMSE等价）。LMMSE的推导过程是尝试在由观测值（观测向量）所张成的线性空间中找到使得Bayes-MSE最小的估计器。从几何的角度看，线性估计的最小误差必然正交于观测值（观测向量）的线性组合（也就是LMMSE正交定理的直观解释）。可以这么理解，MMSE使Bmse总体最小，LMMSE使Bmse在线性空间的张成下最小，因此LMMSE是次优的。