【机器学习基础】贝叶斯神经网络

本系列为《模式识别与机器学习》的读书笔记。

一，混合密度网络

作为逆问题，考虑机械臂的运动学问题。正向问题（forward problem）是在给定连接角的情况下求解机械臂末端的位置，这个问题有唯⼀解。然⽽，在实际应⽤中，我们想把机械臂末端移动到⼀个具体的位置，为了完成移动，必须设定合适的连接角。正向问题通常对应于物理系统的因果关系，通常有唯⼀解。

图5.29～5.30，图5.29给展⽰了⼀个具有两个连接的机械臂，其中，末端的笛卡尔坐标 $(x_1,x_2)$ 由两个连接角 ${\theta }_1$ 和 ${\theta }_2$ 以及机械臂的（固定）长度 $L_1$ 和 $L_2$ 唯⼀确定。这被称为机械臂的正向运动学 （forward kinematics）。在实际应⽤中，必须寻找给出所需的末端位置的连接角，如图5.30所⽰，这个逆向运动学（inverse kinematics）有两个对应的解，即“肘部向上”和“肘部向下”。


考虑⼀个具有多峰性质的问题，数据的⽣成⽅式为：对服从区间 $(0,1)$ 的均匀分布的变量 $x$ 进⾏取样，得到⼀组值 { x n } \{x_n\} { xn​} ，对应的⽬标值 $t_n$ 通过下⾯的⽅式得到：计算函数 $x_n+0.3\sin (2\pi x_n)$ ，然后添加⼀个服从 $(-0.1,0.1)$ 上的均匀分布的噪声。这样，逆问题就可以这样得到：使⽤相同的数据点，但是交换 $x$ 和 $t$ 的⾓⾊。

图5.31～5.32，图5.31是⼀个简单的“正向问题”的数据集，其中红⾊曲线给出了通过最⼩化平⽅和误差函数调节⼀个两层神经⽹络的结果。对应的逆问题，如图5.32所⽰，通过交换 $x$ 和 $t$ 的顺序的⽅式得到。这⾥，通过最⼩化平⽅和误差函数的⽅式训练的神经⽹络给出了对数据的⾮常差的拟合，因为数据集是多峰的。


寻找⼀个对条件概率密度建模的⼀般的框架：为 $p(\mathbf{t}|\mathbf{x})$ 使⽤⼀个混合模型，模型的混合系数和每个分量的概率分布都是输⼊向量 $\mathbf{x}$ 的⼀个⽐较灵活的函数，这就构成了混合密度⽹络（mixture density network）。对于任意给定的 $\mathbf{x}$ 值，混合模型提供了⼀个通⽤的形式，⽤来对任意条件概率密度函数 $p(\mathbf{t}|\mathbf{x})$ 进⾏建模。

图5.33，混合密度⽹络（mixture density network）可以表⽰⼀般的条件概率密度 $p(\mathbf{t}|\mathbf{x})$ ， ⽅法为：考虑 $\mathbf{t}$ 的⼀个参数化的混合模型，参数由以 $\mathbf{x}$ 为输⼊的神经⽹络的输出确定。

显式地令模型的分量为⾼斯分布，即

$$p(\mathbf{t}|\mathbf{x})=\sum _{k=1}^K{\pi }_k(\mathbf{x})\mathcal{N}(\mathbf{t}|\mathbf{\mu }(\mathbf{x}),{\sigma }_k^2(\mathbf{x})\mathbf{I})\text{\hspace{1em}(5.99)}$$

混合系数必须满⾜下⾯的限制

$$\sum _{k=1}^K{\pi }_k(\mathbf{x})=1,0\le {\pi }_k(\mathbf{x})\le 1$$

可以通过使⽤⼀组softmax输出来实现

$${\pi }_k(\mathbf{x})=\frac{\exp (a_k^{\pi })}{{\sum }_{l=1}^K\exp (a_l^{\pi })}\text{\hspace{1em}(5.100)}$$

⽅差必须满⾜ ${\sigma }_k^2(\mathbf{x})\ge 0$ ，因此可以使⽤对应的⽹络激活的指数形式表⽰，即

$${\sigma }_k(\mathbf{x})=\exp (a_k^{\sigma })\text{\hspace{1em}(5.101)}$$

由于均值 ${\mu }_k(\mathbf{x})$ 有实数分量，因此可以直接⽤⽹络的输出激活表⽰

$${\mu }_{kj}(\mathbf{x})=a_{kj}^{\mu }\text{\hspace{1em}(5.102)}$$

混合密度⽹络的可调节参数由权向量 $\mathbf{w}$ 和偏置组成。这些参数可以通过最⼤似然法确定，或者等价地，使⽤最⼩化误差函数（负对数似然函数）的⽅法确定。对于独⽴的数据，误差函数的形式为

$$E(\mathbf{w})=-\sum _{n=1}^N\ln \left\{\sum _{k=1}^K{\pi }_k({\mathbf{x}}_n,\mathbf{w})\mathcal{N}({\mathbf{t}}_n|{\mathbf{\mu }}_k({\mathbf{x}}_n,\mathbf{w}),{\sigma }_k^2({\mathbf{x}}_n,\mathbf{w})\mathbf{I})\right\}\text{\hspace{1em}(5.103)}$$

把混合系数 ${\pi }_k(\mathbf{x})$ 看成与 $\mathbf{x}$ 相关的先验概率分布，从⽽就引⼊了对应的后验概率，形式为

$${\gamma }_{nk}={\gamma }_k({\mathbf{t}}_n|{\mathbf{x}}_n)=\frac{{\pi }_k{\mathcal{N}}_{nk}}{{\sum }_{l=1}^K{\pi }_l{\mathcal{N}}_{nl}}\text{\hspace{1em}(5.104)}$$

其中 N n k