【习题集四】无监督学习和强化学习

1. 监督学习的EM算法 EM for Supervised Learning

我们曾推导过针对无监督学习的EM算法，，其中，我们将p(x)表示为，其中z是隐含参数

下面我们将尝试将EM算法应用于监督学习模型，并讨论“混合线性回归Mixture of Linear Regressors”模型，这是一种专业模型层次化混合Hierarchial Mixture of Expert Model的一个实例，其公式为.

为了简化模型，我们将z设为一个二元变量，并认为p(y|x, z)服从高斯分布，且p(y|x)可由logistic回归模型描述，因此我们有如下公式

其中σ是已知参数，我们希望求得n维向量φ、θ0、θ1，且θ的下标仅表示不同的参数向量，不表示不同的输入。

直观而言，这一过程可被理解为如下过程：给定一个数据点x，我们先根据logistic模型确定其隐含参数的分类，如z=0或z=1；在此基础上认为y是x的线性函数并加上一些高斯误差（不同的z对应不同的线性方程）。如下图所示

（1）假设x、y、z都可被观测到，即我们有训练集{(x1, y1, z1), (x2, y2, z2), (xm, ym, zm)}。给出参数的最大对数似然方程，并给出φ、θ0、θ1的最大似然估计。注意到由于p(z|x)为logistic模型，故φ没有一个闭式的精确解，因此我们可以通过给出其Hessian矩阵和对φ求导的结果。

解：对数似然函数为

将其对θ0求导，并令结果为0，我们有

但这只是数据集的子集中的最小平方误差问题，事实上，如果我们令所有的z均为0，通过同样的方法，我们可得到关于θ0的最大似然估计为

同理我们也可以获得对θ1进行最大似然估计的结果。

将对数似然函数对φ求导，并忽略与φ无关的项，可得如下方程

这是一个典型的logistic回归方程，我们已知其导数和Hessian矩阵为

（2）现在假设z是一个隐含（不可见）的随机变量，给出参数的对数似然函数，并推导求得对数似然函数最大值的EM算法，主要应当明显区分E步和M步（再次提醒，M步要求数值解，给出导数和Hessian矩阵即可）

解：