图像风格迁移任务实验实现记录完整版（基于pytorch预训练模型vgg16和resnet50）

这篇是转载同学的哦～原文项目分享链接：小P学长的博客(建议保存链接) (studentp.cloud)

购买后可以获得我的图像风格迁移任务报告（30页），主要叙述了基于预训练模型的图像风格迁移程序实现流程、两种风格自定义比例迁移、基于自训练图像分类模型迁移实验等内容；另外，可以获得我的jupyter版代码（可直接运行）。

    这是我参加22年浙软元宇宙与数字孪生夏令营时所交作业，最后被评为优秀营员，大家可作参考。

文章和代码主要基于以下三篇关于纹理生成的文献(老师任务要求文献)：

Texture Synthesis Using Convolutional Neural Networks

Image Style Transfer Using Convolutional Neural Networks

Fast Patch-based Style Transfer of Arbitrary Style

这些文献都可以在网上直接找到，第一篇最有帮助，主要讲述了基于内容损失和风格损失的纹理生成；第二篇作者和第一篇相同，是ppt的形式，主要展示了一些实验成果（网络优化策略选择L-BFGS等）；第三篇对于解决实际问题无关紧要，主要讲述了一种更加高效的图像风格迁移方法（偏应用）。

报告中我花了3页左右的篇幅，向老师展示我对于文献的理解！

下面是此夏令营我选任务描述：

基本深度学习的图像风格迁移

图像风格迁移是基于人工智能的艺术创作领域一个非常有趣的任务，也是虚拟视频生成、虚拟形象构建等元宇宙技术的基础。试阅读论文[1,2]及相关论文，并完成以下任务：

子任务1：利用给定的预训练模型[1]（VGG与ResNet），将附件给定的图片转换为指定的风格，示例如下图。指明哪种模型转换的视觉效果更好，并试分析其中的原因。

[1] Pytorch官方提供的预训练模型及使用方法https://pytorch.org/vision/stable/models.html

             

      子任务2：在子任务1的基础上，实现图像的风格融合，并实现自定义的融合比例，示例效果如下图。说明实现方式，解释其中的原因。

子任务3：在Tiny-ImageNet[1]数据集上对VGG模型进行预训练，报告预训练模型在数据集上的准确率。用自己预训练的模型替换子任务1中的给定模型，指明自己预训练的模型与子任务1中给定的模型哪个进行风格迁移的效果更好，试分析其中的原因。

以上三个子任务有继承性，难度依次递增，建议按顺序完成。

[1] TinyImageNet数据集：http://cs231n.stanford.edu/tiny-imagenet-200.zip

参考文献

[1] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge. Texture Synthesis Using Convolutional Neural Networks. NIPS 2015: 262-270

[2] Leon A. Gatys, Alexander S. Ecker, Matthias Bethge. Image Style Transfer Using Convolutional Neural Networks. CVPR 2016: 2414-2423 

[3] Tian Qi Chen, Mark Schmidt. Fast Patch-based Style Transfer of Arbitrary Style. CoRR abs/1612.04337 (2016)

注意事项

以上子任务1和2可在个人笔记本完成，有GPU情况下代码运行时间约30分钟内，CPU代码运行时间约2小时左右。子任务3计算量相对较大，需借助1张1080Ti完成。

数字孪生营一共是给了我们9个任务，自选一个完成即可，时间在13天左右，大佬都可以用小几天完成然后去参加其它夏令营，当然因为优营!=offer，很多人直接放弃了这个，所以如果想拿到这个的优营的话，用心做就行了。

plus，ai营的好像500多人有80左右优营名额，最后好像也只有80左右人数交了成果，几乎是全程参与==优营（他们是20多天，隔三岔五讲座实验，比数字孪生的繁琐，所以很多人直接run了）。

如果感兴趣可以购买查看，希望可以帮到人。但是，请不要外泄！！

小P学长的博客(建议保存链接) (studentp.cloud)