第九讲_图像生成 Image Captioning

第九讲_图像生成 Image Captioning

  • 生成式对抗网络 Generative Adversarial network
    klyAgcN.png

  • 学习数据分布:概率密度函数估计+数据样本生成
  • 生成式模型是共生关系,判别式模型是因果关系
  • GAN在生成模型的位置
    Jm3WKO3.png
  • GAN特点
    NJDn6A3.png

GAN

  • 无监督网络框架
  • 生成器generator and 判别器 discriminator
  • 先学习判别器,然后固定判别器,优化生成器

生成器网络

  • 生成样本数据
    TRgCzPv.png

判别器网络

  • 样本有真实采样数据+生成器生成的样本数据
    RJSAkZ5.png

  • EM优化是同方向优化,GAN最大最小优化

优化目标

  • 价值函数
  • 判别器价值函数最大化,生成器价值函数最小化;相反方向优化,对抗形式
  • 纳什均衡点
  • D(x)->1,D(G(x))->0,判别器的希望的;D(G(x))->1,生成器希望的
    khjVXSZ.png
代价函数
  • 改动最多的是G代价函数
    QWIWse8.png
    UWEC5KS.png
    G9Acq2o.png
  • 三种游戏代价函数对比
  • 生成器就是让判别器判别为真;需要的梯度回传是要学习判别为假的部分数据
    Wgjblh4.png

训练算法

  • 训练
    Q4PDOM4.png
    t3qhKAv.png

  • 问题和挑战
  • 优化控制,很难达到纳什均衡
    fTjI8gF.png

DCGAN图片生成

  • 生成器
  • 4个转置卷积
    vS6qFOp.png
  • 重要的使用批归一化
    huPut2P.png
  • 生成效果:仅支持低分辨率图片,无法捕捉物体结构
  • Z向量的计算特征,插值特性

语义描述-->图片生成

  • caption to image
    ejhdbMS.png

超分辨Super-Resolution

  • 模型
    nz3eht4.png
  • 两种代价函数
  • 生成器的权重初始化,使用预训练的;训练才能成功
  • 捕捉人类视觉感知代价-SRGAN
    4I97ciN.png

语义分割semantic segmentation

  • 在原来的分割网络添加对抗生成器
  • 添加对抗损失函数

9DmiWmD.png

  • 降低模型过拟合

SRGAN代码实现

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值