- 博客(7)
- 收藏
- 关注
RSS订阅原创 论文阅读五：SwiftEdit: Lightning Fast Text-Guided Image Editing via One-Step Diffusion
基于多步骤扩散的文本到图像模型可以通过简单的文本输入来进行图像编辑。然而，由于这种方式涉及到复杂且成本高昂的多步反演和采样过程，这些方法往往无法满足现实世界和设备端应用对速度的要求。针对上述文本，文本提出了SwiftEdit这一实现快速编辑的工具。它能够实时的进行文本到图像的编辑（仅需0.23s）。本文的主要创新有两点。第一点是通过单步反演框架，实现单步的图像重建。第二点是采用了掩码引导编辑技术以及我们提出的注意力重缩放机制，能够实现局部图像编辑。
2025-04-05 16:04:39
835
1
原创 论文阅读四：SwiftEdit: Lightning Fast Text-Guided Image Editing via One-Step Diffusion
基于多步骤扩散的文本到图像模型可以通过简单的文本输入来进行图像编辑。然而，由于这种方式涉及到复杂且成本高昂的多步反演和采样过程，这些方法往往无法满足现实世界和设备端应用对速度的要求。针对上述文本，文本提出了SwiftEdit这一实现快速编辑的工具。它能够实时的进行文本到图像的编辑（仅需0.23s）。本文的主要创新有两点。第一点是通过单步反演框架，实现单步的图像重建。第二点是采用了掩码引导编辑技术以及我们提出的注意力重缩放机制，能够实现局部图像编辑。
2025-03-28 15:20:12
2197
1
原创 论文阅读三：InstructPix2Pix: Learning to Follow Image Editing Instructions
本文讲述的是给定一张待编辑图像和指令对图像进行编辑，模型使用的训练数据集是通过语言模型（GPT-3）和文生图模型（SD）生成的，但在使用中依旧可以用于真实图片的编辑。
2025-03-25 11:19:51
1843
1
原创 论文阅读-图像和文本对齐的目的
**图像和文本对齐的目的：***语义一致性：比如原图像是一片草地，编辑操作是在图像中加入一只猫。我们先取出一个含猫的图片，然后提取它的图像编码向量，这个图像向量可能蕴含的侧重于猫的外观细节（颜色和纹理等），而文本描述向量更强调语义概念比如可爱的猫。如果不将其对齐，那么模型很难协同参考这个两个信息，在生成图像时就无法明确应该更倾向于参考图像向量中的外观细节（如颜色、纹理），还是文本向量中的语义概念（如可爱）。就可以使生成结果符合我们要求的文本提示。
2025-03-18 19:19:11
227
1
原创 论文阅读二：TurboEdit: Instant text-based image editing
摘要：本文旨在少步骤扩散模型的基础上，实现精确的图像重建与精准的图像编辑（仅修改单个目标属性，保持其他属性不变）。在图像重建方面，设计了一个反演网络（文中用F表示 ），其输入为原图像和上一步网络输出的重建图像，输出预测的噪音图，再把噪音图放入一个Turb的模型中得到重建图像。在精准图像编辑方面，利用大语言模型描述图像生成详细文本，通过修改详细文本中的单个属性，以修改后的文本为指导达成精准图像编辑。该方法运用四次反演（即进行 4 次重建），每次反演时，需先经反演网络F。
2025-03-18 19:15:44
725
1
原创 论文阅读一：ZONE: Zero-Shot Instruction-Guided Local Editing
现有的大多数文本到图像的编辑方法有两个问题：1 . 为了获得更好的效果，本文需要通过精心修改，不方便用户使用。 2. 对局部编辑不敏感，可能会对不需要编辑的区域留下编辑痕迹。本文提出了一种名叫ZONE的方法，基本流程是：通过InstructPix2Pix将图像转化为特定的编辑区域，提出一种区域交并比IOU的方案，并结合现有的图像分割模型，进一步精确定位编辑区域，进一步开发了一种基于快速傅里叶变换（FFT）的边缘平滑器，用来实现修复区域与未修复区域之间的无缝融合。
2025-03-12 15:37:00
1626
1
原创 【无标题】
现有的大多数文本到图像的编辑方法有两个问题：1 . 为了获得更好的效果，本文需要通过精心修改，不方便用户使用。2. 对局部编辑不敏感，可能会对不需要编辑的区域留下编辑痕迹。本文提出了一种名叫ZONE的方法，基本流程是：通过InstructPix2Pix将图像转化为特定的编辑区域，提出一种区域交并比IOU的方案，并结合现有的图像分割模型，进一步精确定位编辑区域，进一步开发了一种基于快速傅里叶变换（FFT）的边缘平滑器，用来实现修复区域与未修复区域之间的无缝融合。
2025-03-12 11:11:20
617
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人