探索未来文本到图像个性化：Perfusion-PyTorch 开源实现

探索未来文本到图像个性化：Perfusion-PyTorch 开源实现

perfusion-pytorchImplementation of Key-Locked Rank One Editing, from Nvidia AI项目地址:https://gitcode.com/gh_mirrors/pe/perfusion-pytorch

项目简介

Perfusion-PyTorch 是基于 PyTorch 的 Key-Locked Rank One Editing 算法的实现，它源自 NVidia 研究实验室的一项创新工作。这项研究的独特之处在于其极低的额外参数需求，每添加一个概念只需约 100KB 参数量。通过应用从语言模型记忆编辑论文中汲取的 Rank-1 编辑技术，他们成功地将新概念融入到现有网络中，并通过局部和全局键锁定优化了这一过程。

技术分析

该库提供了两个主要组件——Rank1EditModule 和 EmbeddingWrapper。前者用于对键和值投影进行 Rank-1 编辑，后者则简化了在新概念上训练和推理的过程。键负责确定新概念的位置，而值则定义新概念的内容。这个巧妙的设计使得模型能够以极小的开销学习新的概念，且适用于任何基于交叉注意力条件的文本到其他模态的网络。

应用场景

Perfusion-PyTorch 可广泛应用于文本到图像生成领域，如个人化图像生成、艺术创作、甚至可能扩展到视频和其他多媒体内容的自定义生成。此外，对于研究人员来说，这是一个理想的平台，可以探索如何高效地向预训练模型添加新概念，而无需大量的资源投入。

项目特点

1. 轻量化：与传统方法相比，Perfusion-PyTorch 添加新概念时所需参数显著减少，降低计算成本。
2. 灵活性：可轻松集成到各种基于 PyTorch 的文本到图像模型，如 Stable Diffusion。
3. 易用性：提供 Rank1EditModule 和 EmbeddingWrapper，方便训练和推理新概念。
4. 实用性：允许同时处理多个概念，支持零样本掩蔽和分数梯度技巧，提高学习效率。

要开始使用，只需执行简单的 pip install perfusion-pytorch 安装命令，然后按照提供的代码示例即可快速上手。

import torch
from perfusion_pytorch import Rank1EditModule, EmbeddingWrapper

我们鼓励所有对此感兴趣的研究者和技术爱好者尝试这一前沿技术，以推动文本生成和模型适应性的边界。让我们一起探索并挖掘 Perfusion-PyTorch 在人工智能领域的无限潜力！

引用

@article{Tewel2023KeyLockedRO,
    title   = {Key-Locked Rank One Editing for Text-to-Image Personalization},
    author  = {Yoad Tewel and Rinon Gal and Gal Chechik and Yuval Atzmon},
    journal = {ACM SIGGRAPH 2023 Conference Proceedings},
    year    = {2023},
    url     = {https://api.semanticscholar.org/CorpusID:258436985}
}

@inproceedings{Meng2022LocatingAE,
    title   = {Locating and Editing Factual Associations in GPT},
    author  = {Kevin Meng and David Bau and Alex Andonian and Yonatan Belinkov},
    booktitle = {Neural Information Processing Systems},
    year    = {2022},
    url     = {https://api.semanticscholar.org/CorpusID:255825985}
}

准备好深入研究了吗？现在就加入 Perfusion-PyTorch 的世界，开启您的创新之旅！

perfusion-pytorchImplementation of Key-Locked Rank One Editing, from Nvidia AI项目地址:https://gitcode.com/gh_mirrors/pe/perfusion-pytorch