虚拟试衣算法

PIDM

Person Image Synthesis via Denoising Diffusion Model

解决问题：
如何提升姿势迁移生成能力，增强细节生成效果，并保持内容的持续性。该方案同样可用于虚拟试衣，换脸等场景
解决思路：
整体网络结构：

创新点：

1. 将diffusion model引入姿势迁移
2. 引入TDB模块，将原图信息经特征提取后通过cross attention输入到unet的各层中，以保持生成内容的持续性
3. 将target pose和nosie合并作为网络输入，引导网络生成指定姿态的模特图
4. 优化classfy free算法，对原图和target pose这两个条件进行调节：
   
   

衍生应用：

1. 试衣：类似与sd inpainting思路，为保持非服饰区域不变，每次去噪后将非服饰区域贴回生成图
2. 风格渐变插值：即生成两种风格图片的渐变状态，使用spherical linear插值算法对两种风格的，利用线性插值对风格特征进行插值，然后输入网络进行生成