Improving Diffusion Models for AuthenticVirtual Try-on in the Wild # 论文阅读

URL

https://arxiv.org/pdf/2403.05139
主页：https://arxiv.org/pdf/2403.05139

TL;DR

24 年 3 月韩国的一篇文章，用 reference net 做换装

Model & Method

ppl 如下图，和之前认知的 reference net 的区别是，本文训练的是 denoising unet 而不是 reference net。

• 待替换的服装 + 该服装详细的 caption 作为 reference net 的输入，提取 feature 之后通过 self attn 注入 denoising net 中。
• 参考人物图提取衣服的前背景 + 3dmm 之后，concat 到一起送入到 denoising unet 里。
• 同时要替换的服装也会通过 ipdapter + cross attn 提取语义特征注入到 denoising unet 内。
• 两个 unet 的 text prompt 是不同的
  

Dataset & Results

Thought

• 思路反过来了，不训练 reference net，训练 denoising net。这样的话可以让 reference net 发挥想要的作用吗？
• 分治的思路值得参考：
  • id 和物体特征信息分别通过 cross attn、self-attn 方式注入。
  • 物体特征信息又细分了 semantic、fine-grained 特征，通过不同网络提取出来 concat 到一起去，然后注入 self-attn