3.1 Linear Basis Function Models（PRML 系列----3.1.5 Multiple outputs)

multiple, independent regression problems.

共享相同的基函数


对$\beta 求导可计算\beta 估计值$

多变量解耦：原因在于$W(M\ast K)$只定义了高斯噪声的输出，只考虑单变量即可

$W$中$K个变量之间的协方差解偶证明$
$$p(\mathbf{t}|\mathbf{x},\mathbf{W},\beta )=\mathcal{N}\left(\mathbf{t}|{\mathbf{W}}^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x}),{\beta }^{-1}\mathbf{I}\right)$$$$对于单个样本来说,上面式子中\mathbf{t}表示K个变量，其均值{\mathbf{W}}^{\mathrm{T}}\mathbf{\varphi }(\mathbf{x})$$$$为K维向量，协方差矩阵为对角阵,说明变量之间相互独立$$

简单证明如下

$用到的公式：d|A|=tr(A^{\ast }dA),\frac{\partial |\mathbf{A}|}{\partial \mathbf{A}}=(A^{\ast }{)}^T=|A|(A^{-1}{)}^T,特别当A=\Sigma 为对称矩阵时，行列式对矩阵的导数=行列式\ast 矩阵的逆$
$$A{A}^{-1}=\mathrm{I}$$$$dA{A}^{-1}+Ad{A}^{-1}=0$$$$d{A}^{-1}=-A^{-1}dA{A}^{-1}$$
有了以上公式对下式中的$\mathbf{\Sigma }$求导
$$\ln L(\mathbf{W},\mathbf{\Sigma })=-\frac{N}{2}\ln |\mathbf{\Sigma }|-\frac{1}{2}\sum _{n=1}^N{\left({\mathbf{t}}_n-{\mathbf{W}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)\right)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}\left({\mathbf{t}}_n-{\mathbf{W}}^{\mathrm{T}}\mathbf{\varphi }\left({\mathbf{x}}_n\right)\right)$$

$令A=({\mathbf{t}}_n-{\mathbf{W}}^{\mathrm{T}}\mathbf{\varphi }({\mathbf{x}}_{\mathbf{n}}))$
$$f=A^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}A$$$$df=A^{\mathrm{T}}d{\mathbf{\Sigma }}^{-1}A=tr(A^{\mathrm{T}}d{\mathbf{\Sigma }}^{-1}A)=tr(A{A}^{\mathrm{T}}d{\mathbf{\Sigma }}^{-1})$$$$=-tr(A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}d\mathbf{\Sigma }{\mathbf{\Sigma }}^{-1})=-tr({\mathbf{\Sigma }}^{-1}A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}d\mathbf{\Sigma })$$$$\frac{\partial f}{\partial \mathbf{\Sigma }}=-{\mathbf{\Sigma }}^{-1}A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}$$
因此有：
$$-\frac{N}{2}{\mathbf{\Sigma }}^{-1}+\frac{1}{2}\sum _{n=1}^N{\mathbf{\Sigma }}^{-1}A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}=0$$$$\sum _{n=1}^N{\mathbf{\Sigma }}^{-1}+\sum _{n=1}^N{\mathbf{\Sigma }}^{-1}A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}=0$$$$-\sum _{n=1}^N{\mathbf{\Sigma }}^{-1}(\mathrm{I}-A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1})=0$$$$\sum _{n=1}^N(\mathrm{I}-A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1})=0$$$$N\mathrm{I}=\sum _{n=1}^{N}A{A}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}$$$$\mathbf{\Sigma }=\frac{1}{N}\sum _{n=1}^{N}A{A}^{\mathrm{T}}$$