机器学习笔记7
GAN(generative adversarial network)
Gnerator:输入向量,输出图片
Discriminator:判断图片是机器生成的还是真实的(也在不断学习)
Generator与discriminator相互对抗(adversarial)
算法步骤:
1.固定generator G,来更新discriminator D
随机sample一些vector输入generator得到objects,他们的输出标签为0
从database中sample一些真实图片,他们输出的标签为1
利用这些正负样本训练更新discriminator D参数
2.固定discriminator D,更新generator G
目标:让discriminator给出高分
实际操作:将generator与discriminator接在一起成为一个大的神经网络。
也就是其中一个隐层会输出64*64数据,固定后几个hidden layer,只用gradient Ascent调整前几个hidden layer。
ALlgorithm:
用噪声作为Gnerator输入,生成图像
Stuctured Learning
Generator的搭建:
给一个向量(code),输出一个图片,与真实图片越接近越好
怎么得到code呢?
通过不断输入图像,学习一个auto-encoder,自动地将学习到的图片encode为code,而后将code输入generator让他生成的图片与原图接近。encoder与decoder(generator)一起学习(如下图所示)
——auto-encoder
不能单纯让generated与目标越像越好:
像素间的关系很重要,但是单纯的autoencoder并不能学习到像素间的关系(down-top)!
但是层之前不能互相影响
auto-encoder最多只能产生蓝色的点
实际需要的是绿色的:
因此:generator自己学习的话,就变成了一个auto-encoder,只能学到蓝色的点,很难更深入地学到绿色的正确点。单纯让不能
Discriminator不能自己生成吗?
Discriminator是一个网络,输入一个图像x,输出一个标量表示x有多好。
Discriminator目的:保证生成的图是清晰的,real的
由于是生成完整张图后再检查,discriminator更容易catch像素间的关系
假设已经有一个足够好的discriminator:
训练:
不能只使用positive example 训练
Negative example怎么选??
怎么获得好的negative example?
训练方法:
不断用discriminator 生成较好的,当作negative example训练
对于discriminator,argmax问题在很多情况下不可解,这时候就可以用generator来解决:
对于generator:他的loss中包含了discriminator的大局观
红色为最终结果,比auto-encoder好了很多
可以看到对于GAN,给定的不同参数带来的区别很大,反而VAE更稳定,但是GAN效果明显更好。
Conditional generation by GAN
通过condition产生需要的图片
传统方法:会变成多张图的平均
如果按照下图的方法(conditional GAN):
generator只要满足看起来是real的图片,而不需要满足是准确的图片,因此ignore了input condition
因此discriminator除了输入图像x,也要输入condition:
Stack GAN
从小图生成大图
Image to image类应用:
传统方法:(监督方法)
使用GAN:
1. Patch GAN
discriminator 每次只检查一小块图片(patch)
2. Speech Enhancement
去除噪音,更清楚:
Video Generation:预测影片
Game prediction
Unsupervised conditional generation
Way 1:直接映射转换(纹理、颜色转换)
从X空间到Y空间:
Discriminator:判断输入图像是否属于Y空间
Generator:使输入X更像Y空间,且输入与输出更像
方法1:直接利用输入与输出相似性
方法2:通过训练好的encoder网络来使得输入与输出更相似:
方法3:cycle GAN:
先转换,再转回
还可以两图同时进行训练:
一些目前的问题:
信息被藏了起来
多个domain时:
Way 2:空间映射(例如人物到动漫)
因为训练的时两个分开的auto-encoder:
如何解决??