- 博客(26)
- 收藏
- 关注
RSS订阅原创 python代码调试遇到报错，huggingface_hub.errors.HFValidationError。
报错内容："huggingface_hub.errors.HFValidationError: Repo id must use alphanumeric chars or '-', '_', '.', '--' and '..' are forbidden, '-' and '.' cannot start or end the name, max length is 96:xxxxxx"
2024-10-01 13:28:29
543
原创 pycharm python 代码调试 遇到分布式训练问题。MASTER_PORT expected or RANK expected
报错内容：“ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable RANK expected, but not set” orMASTER_PORT expected, but not set
2024-10-01 13:06:58
388
原创 VQGAN-CLIP: Open Domain Image Generationand Editing with Natural Language Guidance
从开放域文本提示生成和编辑图像是一项具有挑战性的任务，迄今为止，它需要昂贵且经过专门训练的模型。我们为这两个任务演示了一种新颖的方法，该方法能够通过使用多模态编码器来指导图像生成，而无需任何训练就可以从具有显着语义复杂性的文本提示中产生高视觉质量的图像。我们在各种任务上演示了如何使用CLIP 来指导VQGAN产生比以前更高的视觉质量输出，尽管没有为提出的任务进行培训。
2022-11-28 16:01:08
1565
原创 DIFFUSIONCLIP: TEXT-GUIDED IMAGE MANIPULATION USING DIFFUSION MODELS
扩散模型是最近的生成模型，在具有最新性能的图像生成中显示出巨大的成功。然而，对于使用扩散模型进行图像处理的研究很少。在这里，我们提出了一种新颖的DiffusionCLIP，它使用对比语言-图像预训练 (CLIP) 丢失，使用扩散模型执行文本驱动的图像处理。对于域内外图像处理任务，我们的方法具有与现代基于GAN的图像处理方法相当的性能，即使没有额外的编码器或优化，也具有几乎完美的反演优势。此外，我们的方法可以轻松地用于各种新颖的应用程序，从而可以将图像从看不见的域转换为另一个看不见的域，或者在看不见的域中生成
2022-11-27 15:28:06
1221
1
原创 StyleGAN-NADA: CLIP-Guided Domain Adaptation of Image Generators
是否可以训练生成模型从特定领域生成图像，仅由文本提示引导，而看不到任何图像？换句话说：可以“盲目地”训练图像生成器吗？利用大规模对比语言图像预训练 (CLIP) 模型的语义能力，我们提出了一种文本驱动方法，允许将生成模型转移到新领域，而无需收集甚至单个图像。我们表明，通过自然语言提示和几分钟的训练，我们的方法可以使生成器适应以不同样式和形状为特征的多个领域。值得注意的是，其中许多修改将很难或完全不可能通过现有方法实现
2022-11-26 15:45:39
1368
原创 CLIPstyler: Image Style Transfer with a Single Text Condition(2022 CVPR)（单文本风格转换）
现有的神经样式转换方法需要参考样式图像来将样式图像的纹理信息转换到内容图像。但是，在许多实际情况下，用户可能没有参考样式图像，但仍然对仅通过想象样式来转移样式感兴趣。为了处理此类应用程序，我们提出了一个新的框架，该框架可以 “不带” 样式图像进行样式传输，但只能使用所需样式的文本描述。使用剪辑的预训练文本图像嵌入模型，我们演示了仅在单个文本条件下对内容图像样式的调制。具体来说，我们提出了一种具有多视图增强功能的补丁式文本图像匹配损失，以实现逼真的纹理传输
2022-11-24 12:15:21
1237
原创 SemanticStyleGAN: Learning Compositional Generative Priorsfor Controllable Image Synthesis and Edit
最近的研究表明，StyleGANs为图像合成和编辑的下游任务提供了有希望的先验模型。但是，由于stylegans的潜在代码旨在控制全局样式，因此很难实现对合成图像的细粒度控制。我们介绍了SemanticStyleGAN，其中对生成器进行了训练，以分别对局部语义部分进行建模，并以合成方式合成图像。不同局部部分的结构和纹理由相应的潜码控制。实验结果表明，我们的模型在不同空间区域之间提供了强大的解纠缠。当与为StyleGANs设计的编辑方法结合使用时，它可以实现更细粒度的控制来编辑合成或真实图像
2022-11-21 19:52:51
756
原创 EdiBERT, a generative model for image editing(一种用于图像编辑的生成模型)
计算机视觉的进步正在推动图像处理的极限，生成模型在各种任务中对详细图像进行采样。然而，通常针对每个特定任务开发和训练专门的模型，即使许多图像编辑任务有相似之处。在去噪、修复或图像合成中，人们总是旨在从低质量图像生成逼真的图像。在本文中，我们的目标是朝着统一的图像编辑方法迈出一步。为此，我们提出了 EdiBERT，这是一种在由矢量量化自动编码器构建的离散潜在空间中训练的双向变换器。我们认为这种双向模型适用于图像处理，因为任何补丁都可以有条件地重新采样到整个图像。使用这个独特而直接的训练目标。
2022-11-20 14:07:20
554
原创 Blended Diffusion for Text-driven Editing of Natural Images(CVPR 2022)
我们通过利用并结合预先训练的语言图像模型 (CLIP) 来实现我们的目标，以引导编辑朝着用户提供的文本提示，并使用去噪扩散概率模型 (DDPM) 来生成自然外观的结果。为了无缝地将编辑区域与图像的未更改部分融合在一起，我们在空间上将输入图像的噪声版本与潜在的局部文本引导扩散混合在一起
2022-11-18 20:02:38
708
原创 DE-Net: Dynamic Text-guided Image Editing Adversarial Networks(DE-Net: 动态文本引导图像编辑对抗网络)
文本引导的图像编辑仍然存在两个问题。首先，他们采用固定的操作模块来满足各种编辑需求（例如，颜色变化、纹理变化、内容添加和删除），这导致过度编辑或编辑不足。其次，它们没有清楚地区分需要文本的部分和与文本无关的部分，从而导致编辑不准确。为了解决这些限制，我们提出1.DEBlock，它动态地组合不同的编辑模块以满足各种编辑要求。2.Comp-Pred，它根据对目标文本和源图像的推断来预测 DEB。3.DCBlock，它查询源图像特征以区分需要文本的部分和与文本无关的部分
2022-11-08 15:36:58
506
原创 FlexIT: Towards Flexible Semantic Image Translation(走向灵活的语义图像转换)(CVPR 2022)
我们提出了FlexIT，这是一种新颖的方法，可以获取任何输入图像和用户定义的文本指令进行编辑。我们的方法实现了灵活自然的编辑，突破了语义图像翻译的极限。FlexIT将输入图像和文本组合到CLIP多模式嵌入空间中的单个目标点。通过自动编码器的潜在空间，我们将输入图像向目标点迭代变换，从而通过各种新颖的正则化术语确保一致性和质量
2022-11-07 18:22:34
313
原创 End-to-End Visual Editing with aGeneratively Pre-Trained Artist(2022 ECCV)
回避了以前基于类 GAN 先验的方法的困难，获得了明显更好的编辑，并且效率很高。可以通过对增强过程的直观控制来学习不同的混合效果，而无需对模型架构进行其他更改。
2022-11-05 19:29:41
571
原创 One-Shot Adaptation of GAN in Just One CLIP(GAN 的 One-Shot Adaptation 仅1个CLIP)
当使用单个目标图像进行微调时，这些方法通常会遭受过拟合或不拟合的困扰。为了解决这个问题，我们在这里提出了一种通过统一剪辑空间操作的新颖的单发GAN自适应方法。具体来说，我们的模型采用了两步训练策略: 使用剪辑引导的潜在优化在源生成器中搜索参考图像，然后使用新颖的损失函数对生成器进行微调，该损失函数在源生成器和自适应生成器之间施加了剪辑空间的一致性。为了进一步改进适应的模型以产生相对于源生成器的空间一致的样本，我们还提出了针对片段空间中patchwise关系的对比正则化
2022-11-04 10:39:06
523
原创 High-Fidelity GAN Inversion for Image Attribute Editing（CVPR2022）
本文提出了一种失真咨询方法，该方法采用失真图作为高保真度重建的参考。在失真协商反转 (DCI) 中，失真映射首先被投影到高速率潜在映射，然后通过协商融合以更多细节补充基本的低速潜在代码。为了实现高保真度编辑，我们提出了一种具有自我监督训练方案的自适应失真对齐 (ADA) 模块，该模块弥合了编辑图像和反转图像之间的差距。在face和car领域进行的广泛实验表明，反转和编辑质量都有明显改善。
2022-11-03 18:19:48
1062
原创 ERROR: Command errored out with exit status 128:git clone -q git://... ‘C:\Users\mr_z\AppData\Local
ERROR: Command errored out with exit status 128: git clone -q git://github.com/openai/CLIP.git 'C:\Users\mr_z\AppData\Local\Temp\pip-req-build-8kxrta02' Check the logs for full command output.
2022-10-31 15:11:35
2285
1
原创 安装 跨模态模型CLIP 或是遇到 AttributeError: module ‘clip‘ has no attribute ‘load‘
安装 跨模态模型CLIP 或是遇到 AttributeError: module 'clip' has no attribute 'load'
2022-10-29 15:36:38
10170
1
原创 python, torch. 遇到AttributeError: module ‘distutils‘ has no attribute ‘version‘ 报错。
遇到AttributeError: module 'distutils' has no attribute 'version' 报错。
2022-07-18 11:36:49
16741
3
实验室设备管理系统设计与实现
2022-11-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人