DragGAN：用崭新的方式进行图像处理

猛码Memmat

已于 2024-04-02 10:05:42 修改

阅读量498

点赞数 1

分类专栏： vision / segmentation 文章标签： gan

于 2023-07-27 14:42:36 首次发布

本文链接：https://blog.csdn.net/JishuFengyang/article/details/131959363

版权

vision / segmentation 专栏收录该内容

22 篇文章 1 订阅

订阅专栏

该项目的论文被SIGGRAPH 2023 收录，论文以 StyleGAN2 架构为基础，实现了 “Drag” 关键点就能轻松 P 图的效果。

https://github.com/XingangPan/DragGAN

https://vcai.mpi-inf.mpg.de/projects/DragGAN/

根据论文中的介绍，DragGAN 是一种用于直观基于点的图像编辑的交互方法。利用预先训练的 GAN 来合成不仅精确跟随用户输入的图像，而且停留在真实图像的流形上。与之前的许多方法相比，是一个不依赖于特定领域的建模或辅助网络的通用框架。

这是基于两种新方法实现的：一是对隐编码的优化，这些隐编码增量地将多个抓取点移动到它们的目标位置；二是通过点跟踪过程来准确地跟踪抓取点的轨迹。这两个组件利用 GAN 中间特征图的判别质量来进行图像变形，实现交互性能。目前已经证明，此方法在基于 GAN 的操作中优于最先进的方法，并为使用生成先验的强大图像编辑开辟了新的方向。而对于未来的工作，作者计划将基于点的编辑扩展到 3D 生成模型。

在这里

原图1

在这里插入图片描述

测试一

在这里插入图片描述

测试二

在这里插入图片描述

测试三

在这里插入图片描述

原图2

在这里插入图片描述

测试一

在这里插入图片描述

测试二

在这里插入图片描述

原图3

在这里插入图片描述

测试

在这里插入图片描述

GAN网络起源

2014年，还在蒙特利尔读博士的Ian Goodfellow发表了论文《Generative Adversarial Networks》（网址： https://arxiv.org/abs/1406.2661），将生成对抗网络引入深度学习领域。

2016年，GAN热潮席卷AI领域顶级会议，从ICLR到NIPS，大量高质量论文被发表和探讨。Yann LeCun曾评价GAN是“20年来机器学习领域最酷的想法”。

监督学习方法可以分为生成方法 (generative approach) 和判别方法 (discriminative approach)，所学到的模型分别称为生成模型 (generative model) 和判别模型 (discriminative model)。判别模型需要输入变量，通过某种模型来预测。生成模型是给定某种隐含信息，来随机产生观测数据。

常见的判别模型有线性回归、对数回归、线性判别分析、支持向量机、 boosting、条件随机场、神经网络等。常见的生成模型有隐马尔科夫模型、朴素贝叶斯模型、高斯混合模型、 LDA等。