持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术

InstructDiffusion，MSRA出品，InstructDiffusion可处理各种视觉任务，包括理解任务（分割、关键点检测）、生成类任务（编辑和增强）

TopNet，CVPR2023，通过transformer结合目标特征及局部背景特征，预测目标尺度及放置位置，超越现有SOTA方法，并且在真实图片具有泛化性。

KOSMOS-G，微软出品，通过文本及图像结合生成图片

Prompt-to-Prompt，google research出品，仅通过prompt，无需mask即可控制进行图像编辑。

InstructPix2Pix，CVPR2023，加利福尼亚大学，伯克利分校出品，通过引导语即可完成图像编辑

DIFFEDIT，2022 Meta出品，利用文本进行图像编辑，性能超越SDEdit。

Stability AI新作，SDXL，与之前Stable Diffusion相比，生成图像质量大幅提升。

DreamBooth，Google Research出品。仅需要3-5张目标图片，通过prompt引导就可生成该目标变体。

作者提出DragGAN，一种交互式基于点的图像编辑方法，可以依据用户输入操纵图像。这归因于两点：a. 隐向量优化模块，将处理点移动至目标点；b. 点跟踪模块准确跟踪处理点轨迹。DragGAN超越现有基于GAN的图像操纵方法，同时开拓新方向，利用生成先验进行图像操纵。

分割、pose等条件+文本引导图像生成，ControlNet使用教程

Inpaint-Anything-Description，通过文本描述替换目标

LDM，CVPR22022 oral。作者提出的LDM在不降低质量情况下，大幅提升扩散模型训练及采样效率。在多个有条件图像生成领域，不需要特定任务结构基于cross-attention有条件机制即可达到SOTA或接近SOTA效果。

ControlNet 可以控制大的预训练扩散模型支持额外输入条件，ControlNet端到端的方式学习特定任务条件，即使训练集小（

DALLE2，文本引导图像生成，OpenAI出品

CVPR2022，字节&中山大学，提出wFlow，引入3D信息，达到SOTA效果，尤其在自然场景

本文提出无监督TPS Motion取得SOTA，1、提出thin-plate spline（TPS）运动估计，以生成更灵活光流，将源图特征迁移至目标图特征；2、为了补全缺失区域，使用多分辨率遮挡mask进行有效特征融合。3、额外辅助损失函数用于确保网络各模块分工，使得生成高质量图片；...

few-shot vid2vid，通过基于样例图片的动态生成权重机制，提升视频生成泛化能力。

DaGAN用于会讲话的人头视频生成

DiOr按照穿衣顺序进行着装；

PASTA-GAN，二维图片虚拟试衣，不使用成对图片也可进行虚拟试衣。

文章目录StyleGAN贡献解决问题算法原理实验结果StyleGAN v2StyleGAN论文：《A Style-Based Generator Architecture for Generative Adversarial Networks》代码：https://github.com/NVlabs/styleganStyleGANv2论文：《Analyzing and Improving the Image Quality of StyleGAN》代码：https://github.com/NVl

文章目录解决问题创新点算法损失函数实验总结论文：《StarGAN v2: Diverse Image Synthesis for Multiple Domains》github：https://github.com/clovaai/stargan-v2解决问题常规风格迁移为一对一域迁移，当有N个域互相迁移时，则需要训练N*（N-1）个模型，显然一对一域迁移不适用于此场景。创新点本文提出StarGAN v2可实现多域之间互相迁移，同时开源动物脸数据集AFHQ算法好的图像与图像之间域的迁移应满足

CycleGAN风格迁移论文解读