GAN调研——1.有监督的生成式模型与判别式模型

A Survey about GANs

Part1.有监督的生成式模型与判别式模型

生成式模型（Generative Model）和判别式模型（Discriminative Model）是对有监督机器学习模型的两种建模方式。本节将简要介绍二者区别与联系，并举例说明。

1.生成式模型和判别式模型结构

  上图左半部分为判别式模型，可以看出判别式模型是对数据的条件概率密度进行建模，目的是给定输入$x$可以得到其输出$y$的条件概率密度。上图右半部分为生成式模型，生成式模型对数据的联合概率密度进行建模，目的是重构概率密度$P(x,y)$，并由此利用贝叶斯公式$P(y|x)=\frac{P(x|y)P(y)}{P(x)}$求得给定输入$x$的输出$y$的条件概率密度。

2.判别式模型经典案例——逻辑回归（Logistic Regression）

  从模型上看，逻辑回归输入层通过隐含层神经元映射到输出层。输入层概率密度设为$P(x)$，隐含层参数设为$\theta$，则输出即为条件为$(x,\theta )$的$y$的概率密度$P(y|x,\theta )$。假设输出概率密度服从伯努利分布，通过极大似然估计，可以求得参数$\theta$从而得到该条件概率密度。
  假设条件概率密度为：
$$P(y|x,\theta )=(h_{\theta }{)}^y(1-h_{\theta }(x){)}^{1-y}\text{\hspace{1em}(1)}$$
则取似然函数为：
$$L(\theta )=\prod _{i=1}^{m}P(y^{(i)}|x^{(i)},\theta )=\prod _{i=1}^m(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}\text{\hspace{1em}(2)}$$
其对数似然函数为：
$$\begin{array}{rl}L(\theta )& =\log (\prod _{i=1}^m(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}})\\ & =\sum _{i=1}^m(y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})))\end{array}\text{\hspace{1em}(3)}$$

通过根据上式通过求$\frac{\partial L}{\partial \theta }$即可得到最优解（反向传播更新参数$\theta$）。

  常用的判别式模型还有：

• 线性回归(Linear Regression)
• 逻辑斯蒂回归(Logistic Regression)
• 神经网络(NN)
• 支持向量机(SVM)
• 高斯过程(Gaussian Process)
• 条件随机场(CRF)
• CART(Classification and Regression Tree)

3.生成式模型经典案例——高斯判别分析（Gaussian Discriminant Analysis）

  首先，高斯判别分析的作用也是用于分类。对于两类样本，其服从伯努利分布，而对每个类中单独的样本，假定都服从高斯分布，则有:

$$\{\begin{array}{l}y\sim Bernouli(\varphi )\\ x|y=0\sim N({\mu }_0,\Sigma )\\ x|y=1\sim N({\mu }_1,\Sigma )\end{array}$$

  根据训练数据，我们可以对上述三个分布的参数进行估计（注意，虽然存在两个不同的平均向量${\mu }_0$和${\mu }_1$，但该模型通常仅使用一个协方差矩阵$\Sigma$）,根据贝叶斯公式，我们知道

$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}\text{\hspace{1em}(4)}$$

因此通过对先验概率和似然度进行建模之后即可求得后验概率的最大值
$$y=\arg \underset{y}{\max }p(y|x)=\arg \underset{y}{\max }p(x|y)p(y)p(x)=\arg \underset{y}{\max }p(x|y)p(y)\text{\hspace{1em}(5)}$$
在此利用最大似然估计对$\varphi$，${\mu }_0$，${\mu }_1$，$\Sigma$进行参数估计

$$\begin{array}{rl}l(\varphi ,{\mu }_0,{\mu }_1,\Sigma )=& \log \prod _{i=1}^{m}p(x^{(i)},y^{(i)})=\log \prod _{i=1}^{m}p(x^{(i)}|y^{(i)})p(y^{(i)})\\ =& \sum _{i=1}^m\log p(x^{(i)}|y^{(i)})+\sum _{i=1}^m\log p(y^{(i)})\\ =& \sum _{i=1}^m\log (p(x^{(i)}|y^{(i)}=0{)}^{1-y^{(i)}}\ast p(x^{(i)}|y^{(i)}=1{)}^{y^{(i)}})+\sum _{i=1}^m\log p(y^{(i)})\\ =& \sum _{i=1}^m(1-y^{(i)})\log (p(x^{(i)}|y^{(i)}=0))+\sum _{i=1}^m(1-y^{(i)})\log (p(x^{(i)}|y^{(i)}=1))\\ & +\sum _{i=1}^m\log p(y^{(i)})\end{array}\text{\hspace{1em}(6)}$$
可知上式第一项仅与${\mu }_0和\Sigma$有关，第二项仅与${\mu }_1$和$\Sigma$有关，最后一项仅与$\varphi$有关。因此分别令
$$\{\begin{array}{l}\frac{\partial l}{\partial {\mu }_0}=0\\ \frac{\partial l}{\partial {\mu }_1}=0\\ \frac{\partial l}{\partial \Sigma }=0\\ \frac{\partial l}{\partial \varphi }=0\end{array}$$
即可求出$\varphi$，${\mu }_0$，${\mu }_1$，$\Sigma$，在此不进行具体推导，详见链接。

  由此我们得到了先验概率密度$p(y)$以及条件概率密度$p(x|y)$，利用公式$(5)$即可进行分类。

  常用的生成式模型还有：

• 朴素贝叶斯(Naive Bayes)
• 混合高斯模型(GMM)
• 隐马尔科夫模型(HMM)