论文中出现的各种条件期望

正态分布之间的条件期望

（由搞经济学的室友提供）
问题：
假设 $s_i=\theta +{ϵ}_i$, $\theta \sim N(0,{\sigma }_{\theta }^2),ϵ\sim N(0,{\sigma }^2),\theta \perp ϵ$, 要求 $E[\theta |s]$.
结论：
$$E[\theta |s]=\frac{{\sigma }_{\theta }^2}{{\sigma }_{\theta }^2+{\sigma }^2}s$$
证明：
这个证明其实很简单（是指想了一晚上也没搞出来），用正态分布的条件期望证，实际上就是要找一个式子 $\theta -Bs$ 使得 $s\perp \theta -Bs$, 也即
$$Cov(\theta -Bs,s)=Cov(\theta ,\theta +ϵ)-BVar(s)=0$$
得到
$$B=\frac{{\sigma }_{\theta }^2}{{\sigma }_{\theta }^2+{\sigma }^2}$$
那么
$$\theta -Bs\sim N(0,(1-B){\sigma }_{\theta }^2)$$
此时将$s$ 作为一个已知量看待
$$\theta |s\sim N(Bs,(1-B){\sigma }_{\theta }^2)$$
这个是比较简单的一种形式，也是很多论文关于signaling问题中用得比较多的。如果遇到更复杂的形式，那么还是可以根据正态分布条件期望的性质来证明。$\square$

总体均值的条件期望

这个主要是在supply chain 的signaling 问题中看到的。目前找到最早的文献证明是1969年Ericson的一篇Note。(Ericson W A. A note on the posterior mean of a population mean[J]. Journal of the Royal Statistical Society: Series B (Methodological), 1969, 31(2): 332-334.) 这篇 Note 里的证明相对来说比较general，这里证一下论文使用中相对简化了的模型。
问题：
$\theta$是一个零均值，方差为${\sigma }^2$ 的随机变量，有多个关于$\theta$ 的signal $s_i$，满足 （1）unbaised：$E[s_i|\theta ]=\theta$ for all $i$；（2）linear combination: $E[\theta |s_1,\dots ,s_n]={\sum }_{i\in N}{\alpha }_i{s}_i$，${\alpha }_i$ 为常数系数；（3）i.i.d：$s_i$ 之间关于$\theta$ 是独立的。
结论：
$$E[\theta |s_i]=\frac{t_i{\sigma }^2}{1+t_i{\sigma }^2}{s}_i$$
其中，signal accuracy $t_i=1/E[Var[s_i|\theta ]]$。如果所有的signal accuracy 都相同且为$t$，那么还能够得到
$$E[\theta |s_K]=\frac{t{\sigma }^2}{1+kt{\sigma }^2}\sum _{l\in K}{s}_i$$
$s_K\triangleq (s_l{)}_{l\in K},|K|=k$
证明：
$$E[\theta |s_i]={\alpha }_i{s}_i$$
又因为
$$E[\theta s_i]=E[\theta E[s_i|\theta ]]=Var(\theta )={\sigma }^2$$
$$E[\theta s_i]=E[s_{i}E[\theta |s]]={\alpha }_{i}Var(s_i)$$
所以
$${\alpha }_i=\frac{{\sigma }^2}{Var(s_i)}$$
$$Var(s_i)=E[Var(s_i|\theta )]+Var(E[s_i|\theta ])=1/t_i+{\sigma }^2$$
因此
$$E[\theta |s_i]=\frac{t_i{\sigma }^2}{1+t_i{\sigma }^2}{s}_i$$
第一个结论可以证明。然后进行第二个结论的证明，其实本质上差不多。首先
$$E[\theta |s_i]=E[E[s_j|\theta ]|s_i]=E[E[s_j|\theta ,s_i]|s_i]=E[s_j|s_i]$$
可以知道 $m={\sum }_{j\in K}{s}_j/k$ 是$\theta$ 的无偏且充分统计量，因此
$$E[\theta |s_K]=E[\theta |m]$$
重复上面的步骤可以得到结论。$\square$

引入特殊分布——正态分布

假设 $\theta \sim N(\mu ,{\sigma }^2)$, $Y_1|\theta \sim N(\theta ,{\tau }^2),Y_2|\theta \sim N(\theta ,{\tau }^2)$, $Y_1|\theta \perp Y_2|\theta$
$$Y_1|Y_2\sim N(\frac{Y_2+s\mu }{1+s},\frac{s+2}{s+1}{\tau }^2)$$
$s=\frac{{\tau }^2}{{\sigma }^2}$
$$\theta |Y_1\sim N(\frac{Y_1+s\mu }{1+s},\frac{{\tau }^2}{1+s})$$
$$Y_i\sim N(\mu ,{\sigma }^2+{\tau }^2)$$
$$f(Y_1.Y_2)=\frac{1}{2\pi \tau \sqrt{{\tau }^2+2{\sigma }^2}}{e}^{-\frac{(Y_1-Y_2{)}^2{\sigma }^2}{2{\tau }^2({\tau }^2+2{\sigma }^2)}-\frac{(Y_1-\mu {)}^2+(Y_2-\mu {)}^2}{2({\tau }^2+2{\sigma }^2)}}$$
证明： 直接用正态分布的 pdf 证

存在两种不同的signal 的条件期望

和第一种差不多，但是又感觉完全不一样的证明。这是在求第一个条件期望的过程中找到的一个相关例子。问题来源
论文：Morris S, Shin H S. Social value of public information[J]. american economic review, 2002, 92(5): 1521-1534.
问题：
状态 $\theta$ 来源于 an improper uniform prior over the real line，关于 $\theta$ 有两种signal，
$$y=\theta +\eta$$
$\eta \sim N(0,{\sigma }_{\eta }^2)$ 同时与 $\theta$ 独立，另一个signal 是
$$x_i=\theta +{ϵ}_i$$
其中 $ϵ\sim N(0,{\sigma }_{ϵ}^2)$， 与 $\theta ,\eta$ 独立。假设 $\alpha =\frac{1}{{\sigma }_{\eta }^2},\beta =\frac{1}{{\sigma }_{ϵ}^2}$
结论：
$$E[\theta |y,x_i]=\frac{\alpha y+\beta x_i}{\alpha +\beta }$$
证明：
直接用定义证
$$E[\theta |y,x_i]=\int \theta f(\theta |y,x_i)d\theta$$
$$f(\theta |y,x_i)=\frac{f(\theta )f(y|\theta )f(x_i|\theta )}{\int f(\theta )f(y|\theta )f(x_i|\theta )d\theta }$$
所以
$$E[\theta |y,x_i]=\int \theta f(y|\theta )f(x_i|\theta )d\theta =\int \theta \Phi (\frac{y-\theta }{{\sigma }_{\eta }})\Phi (\frac{x_i-\theta }{{\sigma }_{ϵ}})d\theta =\frac{\alpha y+\beta x_i}{\alpha +\beta }$$