运用预训练好的参数权重,只需要输入服装的mask和render
mask是服装的掩码,就是对输入图片进行二值处理,标记处服装区域。对于输入是纯服装的图片来说可以直接运用,但是对于着装人体来说,需要用语义分割huggingface-cloth-segmentation.ipynb - Colaboratory (google.com)
将人体与服装分离,得到服装的mask. render指的就是彩色的服装图片
需要注意的是,mask和render的输入越多重建效果越好,需要同一件服装不同角度和姿势的输入,并且,它们的输入需要一一对应。
利用deepfasion数据集中的图片测试效果如下: