一个LoRA实现GPT-4o级图像编辑！浙大哈佛新模型冲上Hugging Face榜二

一个LoRA实现GPT-4o级图像编辑！浙大哈佛新模型冲上Hugging Face榜二

基于文本指令的图像编辑任务一直都是图像生成和编辑领域的一大热点。近年来，从Prompt2prompt、InstructPix2Pix到EmuEdit，再到最新的GPT4o，这些模型不断提升了AI图像编辑的能力。如今，浙大与哈佛的研究团队又推出了一种新模型——ICEdit，令人期待。

图像编辑模型的分类

总体来看，当前的图像编辑模型可以分为以下两类：

1. 免训练图像编辑：这种方法多通过对预训练的文生图Diffusion大模型进行提示词替换、操纵注意力图和图像反演等操作实现。尽管省去了训练的成本，但这类技术往往操作相对复杂，编辑效果不稳定，且适应的编辑任务种类较少。

2. 基于训练的图像编辑：这种方法则需要通过大量的图像编辑数据进行训练。数据量从几十万（例如InstructPix2Pix的300k）到上亿不等（如Step1X的20M），且对Diffusion模型的微调也需消耗大量资源。这是因为预训练的文生图模型对生成式描述的理解较为透彻，但对于如“让这个女人戴上墨镜”这类的编辑指令却无法完全理解。

ICEdit模型的优势