51-39 华为PixArt-Σ，高质量4K图片生成模型

已于 2024-04-17 11:15:07 修改
阅读量800 收藏 28
点赞数 24
分类专栏： aiXpilot 智驾大模型 文章标签： 自动驾驶 AIGC 智慧城市 midjourney stable diffusion
于 2024-04-11 13:45:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45035094/article/details/137589743
版权
PixArt-Σ是华为等机构开发的4K文本到图像生成模型，通过弱到强训练策略显著提升了图像质量和文本对齐。模型采用高效数据集和token压缩技术，提高了生成4K图像的能力，适用于电影、游戏等领域的高质量内容创作。
摘要由CSDN通过智能技术生成

PIXART-Σ是由华为诺亚方舟实验室、大连理工和香港大学的研究团队共同开发的扩散变换模型DiT，专门用于4K分辨率的文本到图像生成。模型于24年3月发布，在基础模型PixArt-a上进行了显著改进，提供了更高保真图像和更好的文本提示对齐。PixArt-Σ生成4K图像的能力有效地支持了电影和游戏等行业高质量视觉内容的产生。

总体说来，PixArt-Σ相对基础模型PixArt-α的主要改进如下：

  • 具有高美感特性和艺术气质的数据集
    • 更高效的自动化标注工具，更好的文本-图像对齐。采用性能更好的Share-Captioner作为标注工具，而非PixArt-α中幻觉问题严重的SAM-LLaVA。同时把文本编码器（即 Flan-T5 ）的token长度扩展到大约 300 个单词。为图像提供了更密集、更精确的描述。
    • 更具美感和更高分辨率的训练数据集。构建了一个4K分辨率的图片数据集，并通过一个美学评分模型AES对数据进行进一步筛选。最终形成分辨率为1K的 33M 高分辨率图像
了解本专栏 订阅专栏 解锁全文 超级会员免费看
深圳季连AIgraphX
关注
专栏目录
订阅专栏
PixArt-σ：Weak-to-strong training of diffusion transformer for 4k text-to-image generation
liguandong
04-11 993
PixArt-Σ在其前…PixArt-σ提出了一种更为激进的压缩策略KV compression，其提出的动机在于计算attention中，key和value存在一定的特征冗余，换言之，如果用压缩后的key和value进行计算，并不会对PixArt-σ生成的结果带来太大的性能损失。值得注意的是，一旦分辨率发生变化，原有的positional encoding（PE）也无法继续适用，这里PixArt-Σ用到了DiffFit中的一个PE Interpolation技巧，操作很简单，就是将原来的PE。
PixArt-Σ
whaosoft143ai的博客
03-10 403
不同于大多数研究提取固定的 77 个文本 token 的做法，这里将文本 token 的长度从 PixArt-α 的 120 提升到了 300，因为 Internal-Σ 中整理的描述信息更加密集，可以提供高细粒度的细节。如图 3 所示，相比于开源模型 SDXL 和该团队之前的 PixArt-α，PixArt-Σ 生成的人像的真实感更高，并且也有更好的语义分析能力。该团队使用 PixArt-α 的预训练基础模型，通过整合高级元素以促进其持续提升，最终得到了一个更加强大的模型 PixArt-Σ。whaosof
华为最新文生图模型PixArt-Σ：可直接生成4K分辨率图像，并显著提高与文本提示词的对齐
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
03-19 1094
PixArt-Σ是一个能够直接生成4K分辨率图像的扩散变压器模型(DiT)。PixArt-Σ代表了其前身PixArt-α的重大进步，提供了显着更高保真度的图像，并改进了与文本提示的对齐。PixArt-Σ的一个关键特点是它的训练效率。利用PixArt-α的基础预训练，它通过合并更高质量的数据，从“较弱”的基线发展到“更强”的模型，称之为“弱到强的训练”。
华为PixArt-α：高质量、低成本的文生图模型，训练时长只有SD 1.5的10.8%
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
03-18 1558
PIXART-α是一种基于transformer的T2I扩散模型，其图像生成质量与最先进的图像生成器(例如Imagen, SDXL，甚至Midjourney)相媲美，达到了接近商业应用标准。此外，它支持分辨率高达1024px的高分辨率图像合成，训练成本低。
超越α！PixArt家族新秀PixArt-Σ: 由弱到强训练的文本生成4K图像DiT（华为诺亚）
AIGCer的博客
03-10 1570
最近,高质量文本到图像（T2I）模型的出现深刻影响了人工智能生成内容（AIGC）社区。这包括专有模型，如DALL·E 3 、Midjourney ，以及开源模型，如Stable Diffusion 和PixArt-α。然而，开发顶级的T2I模型需要相当大的资源；例如，从头开始训练SD1.5需要约6000个A100 GPU 天，这给资源有限的个人研究人员造成了重大障碍，并阻碍了AIGC社区的创新。随着时间的推移，AIGC社区将获得持续更新、质量更高的数据集和更先进的算法。
文本生成4K超高清图像，华为等推出创新模型PixArt-Σ
weixin_45727359的博客
03-16 91
专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的华为诺亚方舟实验室、大连理工大学和香港大学的研究人员，推出了文本生成4K超高清图像的模型——PixArt-Σ。与上一代PixArt-α相比，PixArt-Σ在图像质量/细节、训练效率、文本语义理解/还原等方面实现了大幅度提升。尤其是训练效率，PixArt-Σ基于DiT架构（Diffusion ...
基于DiT，支持4K图像生成，华为诺亚0.6B文生图模型PixArt-Σ来了
2401_82469710的博客
03-12 1071
基于DiT，支持4K图像生成，华为诺亚0.6B文生图模型PixArt-Σ来了
探索未来视觉——PixArt-Σ：从弱到强的扩散变压器在4K文本到图像生成中的应用...
最新发布
gitblog_00506的博客
09-14 254
???? 探索未来视觉——PixArt-Σ：从弱到强的扩散变压器在4K文本到图像生成中的应用 PixArt-sigma New PixArt Model, Faster, Stronger, Better 项目地址: https://g...
机器之心 | 基于DiT，支持4K图像生成，华为诺亚0.6B文生图模型PixArt-Σ来了
csdn_xmj的博客
03-20 890
众所周知，开发顶级的文生图（T2I）模型需要大量资源，因此资源有限的个人研究者基本都不可能承担得起，这也成为了 AIGC（人工智能内容生成）社区创新的一大阻碍。同时随着时间的推移，AIGC 社区又能获得持续更新的、更高质量的数据集和更先进的算法。
51-38 华为PixArt-α，基于DiT架构的低成本文生图模型
AIgraphX
04-10 906
华为版文生图PixArt-α模型主打低成本训练，采用Meta提出的DiT架构、模型参数只有0.6B，且只使用了25M数据、12%的Stable Diffusion v1.5训练时长和1%的Raphel训练成本 。效果非常惊艳，质量与当时的 Imagen、SDXL、甚至 Midjourney 相媲美，达到近乎商业的应用标准。
超越MJ：PixArt-α超低成本，高质量文生图创新模型
nulifancuoAI的博客
12-15 662
近年来，人工智能的发展使得文本到图像（T2I）技术日益成熟，但同时也伴随着高昂的训练成本。然而，华为诺亚方舟实验室等机构最近提出的PixArt-α模型，打破了这一局限。PixArt-α能够以极低的成本（仅26000美元）在相对短时间内（约675 A100 GPU 天）完成训练，相比传统的大型T2I模型，如RAPHAEL，大幅降低了成本。
PixArt-α：Fast Training of diffusion transformer for photorealistic text-to-image synthesis
liguandong
04-11 694
第二个变动是将原始的AdaLN改成了AdaLN-single，原始的DiT中，每个DiT block中均有一个单独的AdaLN，由于这里需要一个MLP来得到6个scale和shift，所以参数量还是很多（27%），而AdaLN-single是所有的DiT blocks都共享一个MLP，然后每个DiT block再加上一个可训练的embedding，这样即实现了每个DiT block参数有所区分，又减少了参数量。进过这两个变动，预训练模型就转变为一个文本引导的条件扩散模型，这个阶段用256x256训练。
Ubuntu12.04 安装adb
金佳杰
08-22 1493
1、通过apt-get安装adb sudo add-apt-repository ppa:nilarimogard/webupd8 sudo apt-get update sudo apt-get install android-tools-adb 2、将android设备连接至电脑，首先需要取得root权限，通过lsusb查看usb设备（华为Mate 7手机） root@adminis
51-2 万字长文，深度解读端到端自动驾驶的挑战和前沿
AIgraphX
02-19 2863
自动驾驶社区见证了采用端到端算法框架的快速增长，这些方法利用原始传感器输入来生成车辆运动规划，而不是专注于检测和运动预测等单个任务。我们对250多篇论文进行了全面分析，深入研究了几个关键挑战，包括多模态、可解释性、因果混淆、稳健性和世界模型等，还讨论了大模型和视觉预训练的当前进展，以及如何将这些技术纳入端到端的自驾框架。
51-30 World Model | 自动驾驶的世界模型：综述
AIgraphX
03-14 2136
世界模型已经成为一种变革方法，使自动驾驶系统能够综合和解释大量传感器数据，从而预测潜在的未来情景并弥补信息缺口。本文涵盖了世界模型理论基础、实际应用以及以未来展望。
51-57 CVPR 2024 | Cam4DOcc：自动驾驶应用中仅摄像机4D占用预测基准
AIgraphX
06-11 2129
本文提出了一种仅摄像机4D占用预测的新基准Cam4Occ，同时引入端到端时空网络OCFNet，预测当前和未来4D占用。
51-33 LDM 潜在扩散模型论文精读 + DDPM 扩散模型代码实现
AIgraphX
03-22 2125
传统扩散模型 DM 是作用在原始像素级上，Latent Diffusion Models 潜在扩散模型 LDM 则是先对图片进行压缩，将图片表示为潜在空间（Latent Space，而不是像素空间），然后输入扩散模型。LDM 模型在主干网络 UNet 中引入 Cross-Attention，可以输入多模态，实现灵活的图片生成控制。
51-31 CVPR’24 | VastGaussian，3D高斯大型场景重建
AIgraphX
03-16 1816
VastGaussian模型，实现了基于 3D Gaussians Spltting进行大型场景高保真重建和实时渲染。
51 -25 OccNet：Scene as Occupancy 场景作为占用
AIgraphX
02-06 1766
本文介绍了一种将物体表示为 3D Occupancy的新方法，以描述三维场景，并用于自动驾驶中检测、语义分割和规划任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

深圳季连AIgraphX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值