添加图片注释,不超过 140 字(可选)
更多AI前沿科技资讯,请关注我们:
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
【closerAI ComfyUI】太棒了!超高速修图解决方案!IC-Edit+nunchaku应该是目前图像编辑领域最优解!冲!
大家好,我是Jimmy。随着生成式AI的快速发展,基于自然语言指令的图像编辑技术成为数字创作领域的核心需求。然而,现有方法在精度与效率之间始终存在难以调和的矛盾:
-
传统微调方法依赖海量数据和算力,训练成本高昂;
-
零样本编辑技术(如Prompt-to-Prompt)则受限于指令理解能力和编辑质量。
浙江大学与哈佛大学联合团队针对这一痛点,提出ICEdit(In-Context Edit)框架,通过融合大规模扩散变换器(Diffusion Transformer, DiT)的生成潜力与上下文感知机制,实现了轻量化、高精度、强泛化的图像编辑解决方案。
ICEdit:基于大规模扩散变换器的上下文图像编辑框架
——开启高效精准的AI图像编辑新时代
添加图片注释,不超过 140 字(可选)
论文地址:https://river-zhang.github.io/ICEdit-gh-pages/
项目仓库:https://github.com/River-Zhang/ICEdit?tab=readme-ov-file
模型下载地址:https://huggingface.co/sanaka87/ICEdit-MoE-LoRA
ICEdit的核心创新
1. 上下文驱动的零样本编辑范式
ICEdit摒弃传统模型微调模式,直接利用扩散变换器(DiT)的上下文感知能力完成编辑任务:
-
输入形式:用户仅需提供原始图像与自然语言指令(如“将背景改为夜晚”),模型通过双联图像对(源图+目标图)的上下文提示生成编辑结果。
-
技术优势:无需修改网络结构,避免重复训练,显著降低计算开销。
2. LoRA-MoE混合调优策略
为实现高效参数适配,ICEdit采用低秩适配器(LoRAÿ