“一键”模型迁移,性能翻倍,多语言AltDiffusion推理速度超快

OneFlow团队将AltDiffusion和Stable Diffusion模型进行优化,实现性能翻倍和多语言支持。OneFlow的优化使AltDiffusion在多种GPU硬件上推理速度提升1倍以上,同时提供了无缝兼容PyTorch生态的便利,仅需修改少量代码即可迁移模型。此外,OneFlow的动静一体编程体验和计算图优化为深度学习模型部署提供了高性能和便捷性。
摘要由CSDN通过智能技术生成

59577bf7f4b7a2e9c0bb1930f4868461.jpeg

为了推进 AIGC 行业的降本增效,同时也回应用户的热情要求,OneFlow 正在将业内备受欢迎的相关 Diffusion 模型的加速“一网打尽”。

此前,OneFlow 首度将 Stable Diffusion 模型加速至“一秒出图”时代,极大提升了文生图的速度,在 AIGC 领域引发巨大反响,并得到了 Stability.ai 官方的支持。

不过,由于目前大部分团队主要是基于翻译 API + 英文 Stable Diffusion 模型进行开发,所以在使用中文独特的叙事和表达时,英文版模型就很难给出正确匹配的图片内容,这对部分国内用户来说不太方便。

为此,国内的 IDEA 研究院出品了中文版太乙Stable Diffusion,春节前,OneFlow 对此进行了支持,使其推理速度翻倍。

另外,智源研究院出品了首个支持 9 种语言的 AltDiffusion。近期OneFlow 团队为其适配了 OneFlow 后端,大大提升了推理性能,也可以做到一秒出图。

欢迎Star、运行 OneFlow 版 AltDiffusion:

https://github.com/Oneflow-Inc/diffusers/wiki/How-to-Run-OneFlow-Stable-Diffusion#without-docker

通过搭建多语言文图表征模型 AltCLIP,智源研究院的研究者先推出了中英双语图像生成模型 AltDiffusion,支持精细长中文 Prompts 高级创作,为中文世界带来专业级 AI 文图创作的强劲动力。

在此基础上,研究者很快又推出了多语言升级版AltDiffusion-m9,其成为首个支持 9 种语言(英文、中文、日语、法语、韩语、西班牙语、俄语、意大利语、阿拉伯语)的文图生成模型。该研究的主要贡献是搭建了一个多语言文图生成模型的基石,使得更多使用不同语言的创作者可以通过 AltDiffusion 模型进行创作。

AltDiffusion 在多语言对齐方面表现非常出色,是目前市面上开源的最强多语言版本,保留了原版 Stable Diffusion的大部分能力,并且在某些例子上的表现比原版模型更出色


比如当用户给定不同语言的提示语(prompt),模型即可展现语言背后所反映的不同文化图像面貌,如直接生成不同人种的人物形象或不同的地域风物特征。

9c6d16036285bfe3bb3077b473f6b149.png

后文将展示 OneFlow 版 AltDiffusion 的性能表现以及生

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值