幻方AI模型实践
文章平均质量分 92
幻方AI小编
让天才想法落地
展开
-
啾咪~萤火AI三小只给您拜年~
我们希望让更多“想象力”和“创造力”生长,期待与各方科学家及开发者们一同共建AI时代。原创 2023-01-30 15:21:34 · 253 阅读 · 1 评论 -
萤火跑模型 | 高性能 Stable Diffusion 助力高质量 AI 绘图
幻方 AI 近期在萤火二号上使用 Google Caption 数据集复现了 Stable Diffusion 的训练,并进行了优化。通过幻方自研的hfai.pl插件将源代码 Pytorch Lightning 框架与萤火集群的特性轻松整合,并通过 3FS、hfreduce、算子等优化工具对模型训练提速。本文将分享我们对 Stable Diffusion 训练优化的心得体验,帮助研究者和开发者们降低研究门槛。原创 2023-01-05 13:38:23 · 1339 阅读 · 0 评论 -
萤火跑模型 | 多卡并行实现 YOLOv5 高性能训练
总的来说,完整的 hfai 相比原始训练方式有将近 50% 的训练提速,这得益于优秀的训练数据集管理,高速存储系统和优良的算子与通信能力;与轻量版 hfai 对比中,我们可以明显看到,在使用同样的数据加载模式下,hfreduce 和 hfai 优化算子充分利用加速卡计算资源,加速的具体表现为整体有近 20% 的进一步提速。YOLOv5 作为目标检测领域的旗舰模型,受到了广泛的关注。我们借助幻方萤火集群,很轻松地实现了集群特性与这套新的开发模式的打通,获得明显的加速效果,证明了萤火集群的易用性和实力。原创 2022-12-09 17:09:27 · 1314 阅读 · 0 评论 -
萤火跑模型 | 分布式训练大规模深度图神经网络
幻方AI最近尝试对图神经网络的并行训练进行优化,以 OGB 图数据集作为训练样本,在幻方萤火集群上复现 DeepGCNs 的实验。基于幻方自研的3FS、hfreduce等工具,采用灵活的分布式训练方法,进行不同任务场景下的 GNN 训练提速,取得预期效果。本期文章将为大家详细描述。原创 2022-11-14 10:16:19 · 512 阅读 · 0 评论 -
萤火跑模型 | 英伟达元宇宙创造营 GET3D
英伟达的最新工作 GET3D 希望训练更好的 3D 生成模型,来生成下游任务可以直接使用的、保真纹理和复杂几何细节的 3D 模型。幻方 AI 最近对这项工作进行了整理和优化,在幻方萤火二号上复现了实验,本期文章将为大家详细描述。原创 2022-11-01 10:42:09 · 398 阅读 · 0 评论 -
模型实践 | 可变形的 Attention 助力 ViT 优化
来自清华黄高课题组的研究者们对ViT模型中的Attention机制进行改进,提出了可变形的attention机制。研究者们让所有query都跟同⼀组key和value交互,通过对每个输⼊图像学习⼀组偏移量,移动 key和value到重要的位置。这种设计不仅增强了 sparse attention 的表征能⼒,同时具有线性空间复杂度。该项工作获得幻方AI算力资助,在大量的场景下进行了实验对比,验证了所提方法的优异性能。原创 2022-07-19 11:15:49 · 1142 阅读 · 0 评论 -
NeurIPS 2022 | 能量函数指导的图图翻译扩散模型
最近来自人民大学李崇轩课题组的研究者们提出了一种基于能量函数的扩散模型生成指导方法 EGSDE。该方法旨在通过预定义的能量函数对预训练好的扩散模型进行指导,从而实现可控生成。现有指导生成方法如 classifier-guidance 等可以理解为 EGSDE 的特例。理论上,研究者从专家乘积(PoE)的角度解释了 EGSDE 的采样分布。值得一提的是,该项目利用了幻方AI深度学习训练平台的算力及加速性能,在无监督的图到图翻译任务上进行了大量实验。原创 2022-10-24 09:58:44 · 1683 阅读 · 0 评论 -
hfai datasets | 运转数据入萤火训练的不二法门
幻方 AI 在不久前发布了沉淀多年的深度学习套件 hfai ,集成了幻方对集群性能及易用性提升进行的大量开发。整个套件的功能较多,而熟悉掌握了这套规则,就能够轻松地调用起平台的算力资源,高效完成训练任务。为此,我们专门创建了 “hfai 使用心法”系列专辑,分集陆续为大家介绍 hfai 一些功能的设计思路和原理,帮助大家更好更快地习得心法,带着 hfai 这套“神功”游刃有余的应对深度学习作业的各项挑战,举重若轻、例不虚发。原创 2022-10-14 16:27:22 · 321 阅读 · 0 评论 -
萤火跑模型 | 多卡并行助力 BEVFormer 三小时全精度训练
感知系统是自动驾驶系统中不可或缺的部分,系统中包括许多视觉任务,例如目标检测分割、目标跟踪、语义和实例分割、车道线检测等等。感知系统通过对周围环境状态的准确估计,为预测、规划等下游任务提供重要的依据。其中如何利用车载环视相机采集到的多个视角图像,实现精准的 3D 目标检测和分割是感知系统中最为基础且重要的任务。原创 2022-10-08 16:39:20 · 1888 阅读 · 2 评论 -
模型实践| Informer 上手实践
近年来的研究表明,Transformer具有提高预测能力的潜力。然而,Transformer也存在几个问题,使其不能直接适用于LSTF问题,例如时间复杂度、高内存使用和“编码-解码”体系结构的固有局限性。为了解决这些问题,作者基于Transformer设计了一种适用于LSTF问题的模型,即Informer模型,该模型具有三个显著特征:ProbSpare self-attention机制,有效降低了时间复杂度和内存使用量。原创 2022-08-30 16:52:55 · 5376 阅读 · 0 评论 -
模型并行 | 大规模语言模型架构 Megatron
Megatron是NVIDIA提出的一种由于分布式训练大规模语言模型的架构,针对Transformer进行了专门的优化(也就是大矩阵乘法)。,主要提出了通过将矩阵分块提高并行度的方法。,对于分布式中的一些重要的设计,如tensor parallel、pipeline parallel、micro batch size等进行了一些分析与讨论。同时提出了更加精细的pipeline结构与communication模式。原创 2022-08-16 13:33:13 · 6584 阅读 · 0 评论 -
模型实践 | CLIP-GEN无需文本训练即可文字生成图像
最近字节在 Arxiv 上发表了一项文本生成图像 (text2img) 的工作,其利用对抗网络 GAN 改造 CLIP模型,使得 CLIP-GEN 可以不依赖带文字描述的图片数据集,直接使用无文本图像数据集进行训练,通过预训练好的 CLIP 模型建立起文本和图像的映射关系。通过预训练好的 CLIP 模型建立起文本和图像的映射关系,在很多实验数据中表明,CLIP-GEN 的效果比 VQGAN-CLIP 要真实,尤其是泛化能力还比不少用大量“文本-图像”数据对训练出来的模型要好很多。一般单卡训练难度比较大。原创 2022-08-15 15:14:58 · 1444 阅读 · 0 评论 -
模型实践 | Autoformer 长时序预测
NeurIPS 2021,来自清华的几位学者结合之前和工作和 Informer 的模型设计,提出了 Autoformer 模型,在相同预测任务上大幅超越了之前的模型,实现了38%的相对效果提升。幻方AI最近对这项工作进行了整理和优化,在幻方萤火二号上复现了 Autoformer 的实验。通过幻方自研的 3FS、hfreduce、算子等,对模型训练进行提速,整合代码简化接口,融入hfai数据仓库和模型仓库中,帮助研究者和开发者们降低使用门槛。本期文章将为大家详细描述。原创 2022-07-18 14:50:05 · 1797 阅读 · 3 评论 -
模型高性能优化 | 如何实现一行代码 30% Alphafold 提速
幻方 AI 通过优化数据处理,采用特征预处理和特征裁切两种方式通过降低 CPU 开销,避免数据加载阻塞训练的方式提高了 Alphafold 整体的训练性能。本期,我们将尝试用另外一种方式,对这个“AI 顶流明星模型”进行二次提速。这次我们的实验思路是用上幻方 AI 的并行训练加速神器之二以及,它们是否能对 Alphafold 整体的训练进一步加速呢?本期文章将通过实验给出答案。扫描文末二维码,即可申请试用幻方的AI 训练平台。之前的文章。原创 2022-07-11 14:32:27 · 135 阅读 · 0 评论 -
模型实践 | 高精地图构建模型HDMapNet助力更精准的自动驾驶
高精地图是自动驾驶系统的关键模块,可以有效提升自动驾驶汽车的行驶安全度,强化自动驾驶系统的整体感知能力和决策能力。然而传统的高精地图构建流程复杂,需要消耗大量的资源和人力,导致其扩展性和实时性无法满足自动驾驶的使用需求。CVPR 2021 Workshop 最佳论文提名的一篇文章 HDMapNet,来自清华大学交叉信息院 MARS Lab,提出了一个使用深度神经网络实时构建局部高精地图的思路。原创 2022-07-11 14:27:29 · 1902 阅读 · 0 评论 -
模型实践 | AI驱动的全球精准气象预报
FourCastNet 采用 GPU 训练计算,比传统的 NWP 模型快约 45000 倍,能量节约12000倍,使得它能够以很低的成本生成大量的子模型,进行集合预测。实验表明 FourCastNet 极大地改善了概率天气预报的效果,可以在几秒钟内生成对飓风、大气层河流和极端降水等事件的大规模集合预报。幻方 AI 最近复现了该项工作,并通过幻方自研的 3FS、hfreduce、算子,对模型训练和推导进行优化。本文将为大家介绍。原创 2022-07-07 14:13:48 · 1728 阅读 · 0 评论 -
模型高性能优化 | 两步数据预处理让Alphafold 提速一倍
若说2021年人工智能学术界最令人振奋的成果,那么Alphafold可谓当之无愧。Alphafold2在CASP14 蛋白质预测挑战上取得了远远超出同类模型的准确率,并首次将蛋白质结构预测的精度提高到了原子级别——已经接近了实验测量的水准。幻方AI团队在Alphafold2推出不久就在萤火二号平台成功将Alphafold2训练运行了起来。原创 2022-07-06 14:21:36 · 474 阅读 · 0 评论 -
模型实践| CLIP 模型
CLIP(Contrastive Language-Image Pre-Training,以下简称 CLIP) 模型是 OpenAI 在 2021 年初发布的用于匹配图像和文本的预训练神经网络模型,可以说是近年来在多模态研究领域的经典之作。该模型直接使用大量的互联网数据进行预训练,在很多任务表现上达到了目前最佳表现(SOTA)💯。原创 2022-03-28 09:34:32 · 14978 阅读 · 1 评论 -
模型实践 | Alphafold 蛋白质结构预测
AlphaFold解决的问题是蛋白质折叠问题。输入是一个氨基酸序列,每一个位置代表一个元素,输出是一个拓扑结构,如下图所示:直接输出一个拓扑结构对于深度学习来说比较困难,一般需要输出结构化的数据。DeepMind将该问题转化为预测氨基酸链的一些性质。准确的来说,深度模型输出的是每一个氨基酸单元和其下一个氨基酸单元在空间中的夹角与距离,再组合成拓扑结构。原创 2022-07-06 14:17:49 · 4058 阅读 · 0 评论 -
模型实践 | AAAI 2022 气象预测之时空图神经网络
本期模型试跑将为大家体验该项研究成果,来看看最近火热的GNN是否可以有效提升气象预测的精度,缩短预测时间。原创 2022-03-15 10:32:49 · 2091 阅读 · 0 评论