机器学习笔记7

机器学习笔记7

GAN（generative adversarial network）

Gnerator：输入向量，输出图片

Discriminator：判断图片是机器生成的还是真实的（也在不断学习）


Generator与discriminator相互对抗（adversarial）

算法步骤：
1.固定generator G，来更新discriminator D
随机sample一些vector输入generator得到objects，他们的输出标签为0
从database中sample一些真实图片，他们输出的标签为1
利用这些正负样本训练更新discriminator D参数

2.固定discriminator D，更新generator G
目标：让discriminator给出高分
实际操作：将generator与discriminator接在一起成为一个大的神经网络。
也就是其中一个隐层会输出64*64数据，固定后几个hidden layer，只用gradient Ascent调整前几个hidden layer。

ALlgorithm:
用噪声作为Gnerator输入，生成图像


Stuctured Learning

Generator的搭建：
给一个向量(code)，输出一个图片，与真实图片越接近越好
怎么得到code呢？
通过不断输入图像，学习一个auto-encoder，自动地将学习到的图片encode为code，而后将code输入generator让他生成的图片与原图接近。encoder与decoder（generator）一起学习（如下图所示）
——auto-encoder





不能单纯让generated与目标越像越好：


像素间的关系很重要，但是单纯的autoencoder并不能学习到像素间的关系（down-top）！
但是层之前不能互相影响

auto-encoder最多只能产生蓝色的点
实际需要的是绿色的：
因此：generator自己学习的话，就变成了一个auto-encoder，只能学到蓝色的点，很难更深入地学到绿色的正确点。单纯让不能

Discriminator不能自己生成吗？
Discriminator是一个网络，输入一个图像x,输出一个标量表示x有多好。
Discriminator目的：保证生成的图是清晰的，real的

由于是生成完整张图后再检查，discriminator更容易catch像素间的关系

假设已经有一个足够好的discriminator：

训练：

不能只使用positive example 训练

Negative example怎么选？？
怎么获得好的negative example？

训练方法：

不断用discriminator 生成较好的，当作negative example训练

对于discriminator，argmax问题在很多情况下不可解，这时候就可以用generator来解决：
对于generator：他的loss中包含了discriminator的大局观


红色为最终结果，比auto-encoder好了很多

可以看到对于GAN，给定的不同参数带来的区别很大，反而VAE更稳定，但是GAN效果明显更好。

Conditional generation by GAN

通过condition产生需要的图片
传统方法：会变成多张图的平均

如果按照下图的方法(conditional GAN)：
generator只要满足看起来是real的图片，而不需要满足是准确的图片，因此ignore了input condition

因此discriminator除了输入图像x，也要输入condition：

Stack GAN

从小图生成大图

Image to image类应用：

传统方法：（监督方法）

使用GAN：

1. Patch GAN

discriminator 每次只检查一小块图片（patch）

2. Speech Enhancement

去除噪音，更清楚：

Video Generation：预测影片

Game prediction

Unsupervised conditional generation

Way 1：直接映射转换（纹理、颜色转换）

从X空间到Y空间：
Discriminator：判断输入图像是否属于Y空间
Generator：使输入X更像Y空间，且输入与输出更像

方法1：直接利用输入与输出相似性

方法2：通过训练好的encoder网络来使得输入与输出更相似：

方法3：cycle GAN：

先转换，再转回

还可以两图同时进行训练：

一些目前的问题：

信息被藏了起来

多个domain时：

Way 2：空间映射（例如人物到动漫）

因为训练的时两个分开的auto-encoder：

如何解决？？

方法1：最后几个hidden layer的参数公用：

方法2：使用code骗过domain Discriminator

方法3 cycle consistency：

方法3 semantic consistency