【深度学习入门项目】给学妹换个风格，画风突变【❤️CVPR 2020 风格迁移之NICE-GAN❤️】

最新推荐文章于 2024-04-26 16:51:33 发布
置顶 最新推荐文章于 2024-04-26 16:51:33 发布
阅读量1.3k 收藏 7
点赞数 7
分类专栏： 趣学深度学习 文章标签： 深度学习 风格转换 CVPR2020
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_28442665/article/details/120235766
版权

❤️【深度学习入门项目】❤️ 之 【风格迁移】 初识 | 🚀学会【对抗训练】，你和学妹便不会再有尴尬🚀

❤️ 【带你了解】❤️

  • ❤️ 风格迁移 ========》一键换装
  • 💙 人生多一点尝试 ===》画风突变

文章目录

🔔 基础信息

🎉 git 官方 环境依赖如下：

gitHub 官方

1

📢 环境搭建

  • 服务器：ubuntu1~18.04 Quadro RTX 5000 16G
  • CUDA版本 V10.0.130
conda create -n nice python=3.6.9

conda activate nice

pip install torch==1.1.0

pip install torchvision==0.3.0
或者（建议使用 conda 来安装）
conda install pytorch==1.1.0 torchvision==0.3.0 cudatoolkit=10.0 -c pytorch

pip install pillow==5.2.0

pip install opencv-python

pip install scipy
pip install thop

🎄 项目结构

 git clone https://github.com/alpc91/NICE-GAN-pytorch.git
 
 cd NICE-GAN-pytorch
 
 cd dataset/

💜 加入数据集

1-0

💜 训练参数设置

1-1

🎄 训练和测试

💜 Train

# 显卡16G不够用，所以设置  --light True 

python main.py --dataset horse2zebra --light True

# 指定多卡训练的方式如下

CUDA_VISIBLE_DEVICES=2,3 python main.py --dataset horse2zebra --light True

# nohup 把训练进程放到后台

nohup python main.py --dataset horse2zebra --light True &

90分钟 训练 5000 个epoch ，训练效果如下

1-2

💜 Test

python main.py --dataset horse2zebra --phase test  --light True

测试运行输出如下

python main.py --dataset horse2zebra --phase test  --light True

# 测试运行输出如下
 
number of epochs must be larger than or equal to one

##### Information #####
# light :  True
# dataset :  horse2zebra
# batch_size :  1
# iteration per epoch :  300000
# the size of image :  256
# the size of image channel :  3
# base channel number per layer :  64

##### Generator #####
# residual blocks :  6

##### Discriminator #####
# discriminator layers :  7

##### Weight #####
# adv_weight :  1
# cycle_weight :  10
# recon_weight :  10
-----------------------------------------------
[INFO] Register count_linear() for <class 'torch.nn.modules.linear.Linear'>.
[INFO] Register count_convNd() for <class 'torch.nn.modules.conv.Conv2d'>.
[INFO] Register count_relu() for <class 'torch.nn.modules.activation.LeakyReLU'>.
[Network disA] Total number of parameters:  93.749M
[Network disA] Total number of FLOPs:  12.013G
-----------------------------------------------
[INFO] Register zero_ops() for <class 'torch.nn.modules.activation.ReLU'>.
[INFO] Register count_linear() for <class 'torch.nn.modules.linear.Linear'>.

[Network gen2B] Total number of parameters:  16.192M
[Network gen2B] Total number of FLOPs:  67.552G
-----------------------------------------------
5000 [测试使用模型的迭代次数]

dataset/horse2zebra/testA/n02381460_1000.jpg
dataset/horse2zebra/testA/n02381460_1010.jpg
...

1-3

💬 备注

  • 该模型训练中一次保存，大小 1.2 个G
  • –batch_size == 1 时，GPU 占用 7679MiB
  • –batch_size == 2 时，GPU 占用 12473MiB
  • –batch_size == 4 时，16G 的GPU就不够用啦

👋 可能遇到的报错

单卡训练，NICE-GAN full version 训练， 【16G】GPU 不够用

  • CUDA_VISIBLE_DEVICES=3 python main.py --dataset horse2zebra
RuntimeError: CUDA out of memory. Tried to allocate 1024.00 MiB (GPU 0; 15.75 GiB total capacity; 13.78 GiB already allocated; 782.44 MiB free; 499.74 MiB cached)

解决方法如下

  • 经验证换用 24 G 以上更大内存的 GPU 进行训练，不会遇到该错误，即进行【NICE-GAN full version】训练
  • 训练时，追加参数 --light True 即进行【NICE-GAN light version】训练

🚀 给学妹换个风格 🚀

这里使用 【梵高油画和现实风景图像】构成的数据集进行 50万 iteration 训练

nohup python main.py --dataset vangogh2photo --light True &

# 训练时长，最终定格在 5天

训练结束输出如下

[499995/500000] time: 431994.8614 d_loss: 2.32049370, g_loss: 3.90420341
[499996/500000] time: 431995.4892 d_loss: 2.04860115, g_loss: 3.71788430
[499997/500000] time: 431996.1223 d_loss: 2.22972393, g_loss: 4.25117588
[499998/500000] time: 431996.7609 d_loss: 2.36788273, g_loss: 5.42507362
[499999/500000] time: 431997.3897 d_loss: 2.53704023, g_loss: 4.05708218
[500000/500000] time: 431998.0172 d_loss: 2.21194649, g_loss: 4.53932619
current D_learning rate:-1.7075100951256253e-16
current G_learning rate:-1.7075100951256253e-16
 [*] Training finished!

💜 训练分析

可以看到，默认每隔10w iteration 保存一次模型，50w 训练只保存了 5次模型
这 5 次保留的模型经测试发现，效果都无法让人心动

意外翻车，原因分析如下

  • Gan 网络的模型训练本身就有很多不稳定性、不确定性存在
  • 改进策略，数据集 trainA 和 trainB 风格尽量一致
  • 训练时，建议每隔 1 w 或者 5k iteration 保存一次模型
  • 这样可以得到多个生成模型，然后一一测试，也许会有惊喜
  • 对于 NiceGAN 而言，实测应用，模型训练基本是这样一个思路
  • 只能说，iteration 次数越多，理论上训练效果相对会更好，但是实际应用中，效果好的模型未必就是训练次数最大的那次得到的模型

2-1

💜 学妹还是有的

论数据集风格统一的重要性

【❤️下次，一定，让你更美❤️】

2-3

🍖 训练代码+数据分享

💜【把训练数据 + 代码分享给大家】💜

链接：https://pan.baidu.com/s/1zNR8TcXmQU7_nCB20Rqzmw 
提取码：2021

🚀🚀 文末专栏推荐部分 🚀🚀

  • 🎄如果感觉文章看完了不过瘾，还想更进一步，那么可以来我的其他 专栏 看一下哦~
  • 🎄 个人整理的Cuda系列 Linux安装教程【适合小白进阶】

❤️ 当生成器和判别器趋于平衡，那便是爱情 💜

9-7

9-8

墨理学AI
关注
  • 7
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
马斑马数据集
04-11
CycleGAN数据集。。。。。。。。。。。。。。。。。。
深度学习 三维重建 UCS-Net-CVPR-2020 （源码、原文+译文）
08-22
深度学习 三维重建 UCS-Net——CVPR-2020 （源码、原文+译文） 深度学习 三维重建 UCS-Net——CVPR-2020 （源码、原文+译文） 深度学习 三维重建 UCS-Net——CVPR-2020 （源码、原文+译文） 深度学习 三维重建 UCS-Net——CVPR-2020 （源码、原文+译文） 深度学习 三维重建 UCS-Net——CVPR-2020 （源码、原文+译文） 深度学习 三维重建 UCS-Net——CVPR-2020 （源码、原文+译文） 深度学习 三维重建 UCS-Net——CVPR-2020 （源码、原文+译文） 深度学习 三维重建 UCS-Net——CVPR-2020 （源码、原文+译文） 深度学习 三维重建 UCS-Net——CVPR-2020 （源码、原文+译文） 深度学习 三维重建 UCS-Net——CVPR-2020 （源码、原文+译文） 深度学习 三维重建 UCS
深度学习三维重建 CVP-MVSNet-CVPR-2020（源码、原文、译文）
07-08
深度学习三维重建 CVP-MVSNet——CVPR-2020（源码、原文、译文） 深度学习三维重建 CVP-MVSNet——CVPR-2020（源码、原文、译文） 深度学习三维重建 CVP-MVSNet——CVPR-2020（源码、原文、译文） 深度学习三维重建 CVP-MVSNet——CVPR-2020（源码、原文、译文） 深度学习三维重建 CVP-MVSNet——CVPR-2020（源码、原文、译文） 深度学习三维重建 CVP-MVSNet——CVPR-2020（源码、原文、译文） 深度学习三维重建 CVP-MVSNet——CVPR-2020（源码、原文、译文） 深度学习三维重建 CVP-MVSNet——CVPR-2020（源码、原文、译文） 深度学习三维重建 CVP-MVSNet——CVPR-2020（源码、原文、译文） 深度学习三维重建 CVP-MVSNet——CVPR-2020（源码、原文、译文） 深度学习三维重建 CVP-MVSNet——CVPR-2020（源码、原文、译文） 深度学习三维重建 CVP-MVSNet——CVPR-2020（源码、原文、译文） 深度学习三维重建
horse2zebra数据集.zip
03-14
用于在Python中做CycleGAN学习测试的由马图片生成斑马图片的数据集，包括训练集和测试集（普通的马和斑马）。
手工采集的斑马线与人行道标注数据集，可用于YOLOv5等目标检测任务的训练
07-13
压缩包内提供百度网盘下载链接，永不失效。 该数据集为自采集数据，包含训练集及验证集3880张，测试集1770张。标签为人行道和斑马线两种标签，目前支持XML与YOLO格式的目标检测网络训练。可用于道路安全、行人礼让等任务探索。 该数据集为自采集数据，包含训练集及验证集3880张，测试集1770张。标签为人行道和斑马线两种标签，目前支持XML与YOLO格式的目标检测网络训练。可用于道路安全、行人礼让等任务探索。 该数据集为自采集数据，包含训练集及验证集3880张，测试集1770张。标签为人行道和斑马线两种标签，目前支持XML与YOLO格式的目标检测网络训练。可用于道路安全、行人礼让等任务探索。
NICE-GAN-pytorch:NICE-GAN的PyTorch正式实施
03-12
NICE-GAN —官方PyTorch实施 重用鉴别符进行编码：实现无监督的图像到图像的翻译 重用鉴别符进行编码：实现无监督的图像到图像的翻译 摘要无监督的图像到图像转换是计算机视觉中的中心任务。 培训过程完成后，当前的翻译框架将放弃歧视者。 本文通过重新使用鉴别器对目标域的图像进行编码，来证明鉴别器的新作用。 提议的体系结构称为NICE-GAN，与以前的方法相比，具有两个有利的模式：首先，由于不需要独立的编码组件，因此结构更紧凑； 其次，这种插入式编码器直接受到对手损失的训练，如果应用了多尺度鉴别器，则其信息量更大，训练更有效。 NICE-GAN中的主要问题是翻译与编码器上的辨别力之间的耦合，当我们通过GAN玩min-max游戏时，这可能会导致训练不一致。 为了解决这个问题，我们开发了一种解耦训练策略，通过该策略，仅在最大化对手损失的同时对编码器进行训练，否则将其保持冻结状态。 在四个流
Nice -GAN环境搭建 ——模型训练有效教程——【一文读懂】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
09-01 2029
Reusing Discriminators for Encoding: Towards Unsupervised Image-to-Image Translation 环境搭建、模型训练
NICE-GAN翻译 — Reusing Discriminators for Encoding: Towards Unsupervised Image-to-Image Translation
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
07-21 3522
重用判别器进行编码：实现无监督的图像到图像翻译，NiceGAN 有效翻译
【研究生工作周报】(NICE-GAN论文再回顾)
wangyunpeng33的博客
09-17 2120
早在假期就对这篇论文做过初步研究，但碍于当时在对抗生成网络这一领域的基础比较薄弱，所以对论文的理解比较肤浅。通过这段时间对CGAN，pix2pix，CycleGAN等经典GAN模型学习之后，在理论和实践层面对GAN有了一个比较系统的认识。本周就NICE-GAN模型进行一个理论上的总结。对于两个图像域DomainXDomain XDomainX和DomainYDomain YDomainY，给定联合分布p(X,Y)p(X,Y)p(X,Y)
horse2zebra斑马.zip
03-12
horse2zebra数据集，方便用于CycleGan训练，欢迎点赞
horse2zebra.rar
09-09
cycleGAN使用的hore2zebra数据集
马和斑马数据集.zip
06-28
马和斑马数据集.zip 数据集中包含马和斑马的图片，用于Gan网络训练。 包含4个文件夹，马和斑马的训练数据集各有1000-1300左右，测试数据集各120张左右。
horse2zebra.zip
11-27
分好train和test的horse2zebra数据集
stargan-v2:StarGAN v2-官方PyTorch实施（CVPR 2020）
05-12
StarGAN v2-官方PyTorch实施 StarGAN v2：多个域的多样化图像合成*，* *，*，在CVPR 2020中。（*表示相等的贡献） 论文： : 视频： ： 摘要：良好的图像到图像转换模型应学习不同视觉域之间的映射，同时满足以下属性：1）生成图像的多样性和2）在多个域上的可伸缩性。 现有方法解决了其中一个问题，即对于所有域而言，其多样性有限或具有多个模型。 我们提出了StarGAN v2，这是一个可以同时解决这两个问题的框架，并且在基线之上显示出明显改善的结果。 在CelebA-HQ和新的动物面Kong数据集（AFHQ）上进行的实验验证了我们在视觉质量，多样性和可伸缩性方面的优越性。 为了更好地评估图像到图像的翻译模型，我们发布了AFHQ，具有较大域间和域内差异的高质量动物脸。 代码，预训练模型和数据集可在clovaai / stargan-v2中找到。 宣
Cross-Scale-Non-Local-Attention环境搭建和预训练模型测试 | 【❤️CVPR2020❤️】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
08-13 1308
Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining 代码 https://github.com/SHI-Labs/Cross-Scale-Non-Local-Attention 环境搭建 conda create -n nice python=3.6.9 conda activate nice pip install torch==1.1.0 pip in
深度学习三维重建 Fast-MVSNet-CVPR-2020（源码、原文、译文、批注）
08-12
深度学习三维重建 Fast-MVSNet——CVPR-2020（源码、原文、译文、批注） 深度学习三维重建 Fast-MVSNet——CVPR-2020（源码、原文、译文、批注） 深度学习三维重建 Fast-MVSNet——CVPR-2020（源码、原文、译文、...
CVPR-2020-point-cloud-analysis:专注于点云分析的CVPR 2020论文
05-28
CVPR-2020点云分析专注于点云分析的CVPR 2020论文[][][][] segmention [] segmention classification [] compression oral completion [代码] 基于图像的3D对象检测的端到端伪LiDAR [代码] 点网络segmentation 更...
【深度学习】YOLOv5，金属表面的缺陷检测，GC10-DET数据集
最新发布
q742971636的博客
04-26 395
数据集的lable文件夹下是每个图片的框和类别标记，是xml格式。
mapbox 画风场粒子
10-11
Mapbox 画风场粒子是一种基于Mapbox平台的数据可视化技术。它通过将地理信息和风场数据结合起来，实现了以粒子的形式展示地理位置和风向的效果。 具体来说，Mapbox首先提供了强大的地图绘制和数据处理功能，可以轻松地加载和显示各种地理数据。而画风场粒子则是一种动态的效果，它通过调整粒子的移动速度和方向来模拟风场的分布和强度。这种效果可以在地图上直观地展示出风的流向和风力的大小。 使用Mapbox画风场粒子可以带来一些实际的应用价值。比如在气象预报中，我们可以根据实时的风场数据，通过画风场粒子的方式来展示风的分布情况，从而帮助人们更好地理解和预测天气情况。另外，在环境监测方面，画风场粒子也可以用来模拟和展示污染物在大气中的传播路径，帮助我们更好地了解环境污染的扩散情况。 总的来说，Mapbox画风场粒子是一种有趣而实用的数据可视化技术，通过将地理信息和风场数据相结合，以粒子的形式展示地理位置和风向的效果。它在气象预报、环境监测等领域都有着广泛的应用前景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

墨理学AI

不必打赏，关注博主公众号即可

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值