数字人生

在这篇博客中，我们向您展示了如何使用 MosaicML 的分布式 Composer 框架，为指令微调任务微调 MPT-30B 模型。更具体地说，我们讨论了 Composer 可以执行和扩展的两种方法——使用 SLURM 的分布式框架和单节点框架。为了观察 Composer 在两个节点框架上的行为，我们使用 SLURM 脚本来跨节点分配资源。而为了避免额外框架设置的麻烦，我们演示了如何在单节点上进行 Composer 实验。这篇博客还突出了使用 AMD 的。

在这篇博客中，我们探讨了在AMD GPU上使用ROCm进行Vision Mamba，展示了其在视觉任务中的能力和性能。Hipify后的Vision Mamba有效利用AMD硬件进行训练和推理，提供了一种传统模型的强大替代方案。我们鼓励读者在使用ROCm进行计算机视觉应用时，尝试使用Vision Mamba。

容器已经改变了我们开发和部署GPU加速应用程序的方式。通过这篇博客文章，我们探索了如何从基本镜像构建自定义ROCm容器，设置GPU加速应用程序的开发环境，以及为ML培训工作负载创建专用容器。你学习了挂载卷、管理依赖项和在容器中实现GPU支持的实用方法。这些示例展示了ROCm容器生态系统如何为开发和生产部署提供坚实基础，使在AMD GPU上工作变得前所未有的简单。在下一篇博客文章中，我将通过使用vLLM进行推理和基准测试的高级示例进行讲解。

Ansys Fluent® 是商业计算流体动力学 (CFD) 领域广受赞誉的通用求解器，以其多功能性闻名。科学家和工程师在全球多个行业中使用 Fluent，尤其是汽车和航空航天领域，以及能源、材料和化学加工和高科技行业。Ansys 最近在 Fluent 流体仿真软件中集成了对 AMD Instinct™ MI200 和 MI300 加速器的支持, 显著提升了仿真效率和性能。Fluent 今天可以直接在 AMD Instinct™ GPU 上运行。

在这篇博客中，我们展示了使用Triton推理服务器与vLLM后端部署和服务三个LLM。这些都由AMD GPU和ROCm软件平台提供支持。我们提供了一步步指南，介绍如何用Triton推理服务器高效处理多个LLM，展示了AMD硬件在高需求AI应用中的强大性能和可靠性。

在这篇博客文章中，我们概述了Zyphra降低训练Transformer模型及其混合模型成本的愿景。我们解释了Zyphra如何通过优化AMD Instinct MI300X加速器的卓越硬件规格，使用ROCm来训练Zyphra的混合模型：Mamba2和Flash Attention v2，来实现这一愿景。在未来的工作中，Zyphra计划将Attention内核和部分Mamba2内核扩展到fp8精度，并在Mamba2、Attention和MLP模块与通信之间实现细粒度的张量并行重叠。

本博客介绍了图像字幕生成，这是一项高度应用的序列到序列任务，用于为给定图像生成文字字幕。博客提供了三个基于Transformer的编码器-解码器图像字幕生成模型的实践教程：ViT-GPT2、BLIP和Alpha-CLIP，展示了如何在使用ROCm的AMD GPU上部署这些模型，并自动为给定的输入图像生成相关的输出文字字幕。

自从 OpenAI 在 2022 年底推出 ChatGPT 以来，数百万人已经体验到了生成式 AI 的强大功能。尽管通用大型语言模型（LLM）可以在许多任务（例如回答快速问题和解决问题）上提供相当好的性能，但当提示是高度特定于某个领域或需要某些它们未专门训练的技能时，它们往往表现不佳。提示工程可以通过在提示中提供具体说明或示例来帮助缓解这个问题。然而，创建提示所需的技能和上下文长度的限制往往阻止了 LLM 充分发挥其潜力。

SGLang是一个综合框架，专为大规模语言模型和视觉-语言模型的高效服务而开发。该框架通过优化的后端运行时和用户友好的前端语言，增强了用户对模型的控制和交互速度（参见SGLang 原始论文和LMSYS SGLang 博客文章在这篇博文中，我们向您介绍了 SGLang 及其功能，并展示了如何使用 ROCm 在 AMD GPU 上设置 SGLang。我们演示了如何使用 SGLang 通过量化模型优化推理性能，以及如何使用 SGLang 与 LLaVA NeXT 多模态模型。

在这篇博客中，我们讨论了 bitsandbytes 提出的快速高效的 8 位表示，这些表示在训练和推理大语言模型时显著减少了内存占用。bitsandbytes 提出的 8 位优化器和 LLM.int8 技术不仅在内存使用上表现出色，还在训练过程中提供了稳定性和效率，使得大语言模型（LLM）更易于访问。这些技术包括块式量化、动态量化、稳定嵌入层、向量式量化和混合精度分解。

在这篇博客文章中，我们分享了AMD的下一代Fortran编译器的预览，展示了我们新的编译器如何通过使用OpenMP卸载来帮助您在AMD GPU上部署和加速您的Fortran代码库，以及如何使用它与HIP和ROCm内核进行交互。我们展示了AMD的下一代Fortran编译器在AMD GPU上运行时与原生HIP/C++代码的竞争性能，并提供了我们新编译器的预生产版本的访问权限。

随着机器学习模型复杂性和规模的增加，计算资源的需求也在增长。在单个GPU上训练可能会成为深度学习应用的瓶颈，特别是在处理大型数据集和在单个GPU上训练速度较慢的模型时。并行化训练解决了这一挑战。在各种形式的并行化训练中，本博客重点介绍（DDP），这是PyTorch中的一个关键特性，可以加速多GPU和多节点的训练。本博客演示了如何使用PyTorch DDP在AMD GPU上运行ROCm，加速分类任务上的模型训练。

在这篇博客中，我们将使用 Torchtune 对 Llama-3.1 模型变体中特定的 Meta-Llama-3.1-8B-Instruct 版本进行微调，以完成抽象摘要任务（通过改写和提炼主要思想来总结内容，而不是逐句摘录）。Llama-3.1 作为一个为通用文本生成设计的大型语言模型，非常适合用于抽象摘要。为了提高微调过程的效率，我们将使用 LoRA（低秩适应），它在计算资源有限的情况下特别有效。

Transformer 模型通过在机器翻译、文本摘要、文本生成和语音识别等任务中提供高性能结果，彻底改变了自然语言处理（NLP）的领域。然而，由于这些模型对计算和内存的高需求，在生产环境中部署它们可能会面临挑战。通过提供一个自定义运行时来应对这些挑战，该运行时实现了各种优化技术，以加速 Transformer 模型的推理。在这篇博客中，您将了解到如何使用 CTranslate2 这一强大的 C++ 和 Python 库，在 AMD 硬件上优化和加速 Transformer 模型的推理。

Meta的Llama模型现在支持多模态功能，扩展了其在传统文本应用之外的应用范围。Llama 3.2模型有多种尺寸，包括用于视觉-文本推理任务的中型11B和90B多模态模型，以及为边缘和移动设备设计的轻量级1B和3B纯文本模型。本文将探讨如何利用Llama 3.2视觉模型在AMD GPU上使用ROCm进行各种视觉-文本任务…

在这篇博客文章中，我们简要介绍了一种辅助文本生成的方法，称为Speculative Sampling（推测采样）。我们解释了推测采样的基本原理，以及如何使用来自同一模型系列的两个模型，通过在确保数学准确性的前提下，不改变训练架构或实现方式，加速生成推理大约2倍。然后，我们演示了如何利用AMD硬件和ROCm的强大功能，实现对一系列模型的推测采样。

在此博客文章中，我们向您展示了如何在 Oracle Cloud Infrastructure (OCI) 的 Oracle Kubernetes Engine (OKE) 上，使用一组 AMD GPU 设置和微调生成型 AI 模型。您可以使用本教程作为起点，并调整 YAML 文件以反映您自己的网络资源和特定任务的需求。

在这篇博文中，我们简要讨论了 LLM 如 Llama 3 和 ChatGPT 如何生成文本，强调了 vLLM 在提升吞吐量和减少延迟方面的作用。我们介绍了如何在 KV 缓存中以 FP8 格式存储值，优化矩阵乘法以实现更快的计算，以及如何在 FP8 中执行完整的推理。通过这些最新的增强功能，我们展示了 ROCm 6.2 如何显著加速你的 vLLM 工作负载。

在这篇博客文章中，我们概述了如何使用Triton内核来加速生成式AI。我们详细介绍了在Triton中开发用于矩阵的融合dropout激活内核，解释了如何从JAX调用内核，并在使用ROCm的AMD GPU上对其性能进行了基准测试。

在这篇博客文章中，我们逐步向您展示了如何使用AMD GPU实现INT8量化，并如何基准测试结果推理。我们展示了INT8量化对Llama系列和Mistral大型语言模型训练的加速效果。

大型语言模型（LLMs）已经彻底改变了自然语言处理领域，使机器能够理解和生成类似人类的语言。然而，这些模型通常是在大量通用数据上训练的，这可能会使它们在特定任务或领域中效果不佳。微调涉及在专门的数据集上训练预训练的 LLM，以提高其在特定任务上的表现。正如 Andrej Karpathy 类比的那样，这个过程类似于让某人练习某项特定技能。就像一个人可能需要在特定情境下练习技能才能变得熟练一样，LLM 需要在特定数据集上进行微调，才能在特定任务中表现出色。

在快速发展的人工智能领域，大型语言模型（LLM）已经成为理解和生成类人文本的强大工具。然而，高效地大规模部署这些模型仍然存在重大挑战。这时，vLLM 便应运而生。vLLM 是一个创新的开源库，旨在通过先进技术优化 LLM 的服务。vLLM 的核心是 PagedAttention，这是一个新颖的算法，它通过将注意力机制管理为虚拟内存来提高模型的效率。这一方法优化了 GPU 内存的利用，便于更长序列的处理，并在现有硬件限制内更高效地处理大型模型。

在这篇博客中，我们逐步演示了如何使用和部署 ROCm 离线安装程序创建器。该工具代表了 AMD 在简化基础设施部署方面迈出的重要一步，使 HPC 和 AI 开发变得更加便捷和高效。AMD 邀请您尝试 ROCm 离线安装程序创建器，亲身体验其带来的好处。了解更多信息，请访问ROCm 离线安装程序文档页。

图像分类是计算机视觉中的一项关键任务，旨在“理解”整个图像。图像分类器的输出是图像整体的一个标签或类别，这与对象识别的任务不同，后者旨在检测和分类图像中的多个对象。在这篇博客中，我们将讨论在ImageNet数据集上表现优异的顶级图像分类模型，它们在计算机视觉中提供了最先进的性能。我们将探讨它们的架构，并研究使用PyTorch在AMD硬件上利用ROCm进行推理的技术。无论你是研究人员、开发人员，还是爱好者，这些模型都能为你提供关于计算机视觉模型进展的宝贵见解。

在这篇博客中，我们将展示如何利用 PyTorch TunableOp 在 AMD GPU 上使用 ROCm 加速模型。我们将讨论通用矩阵乘法（GEMM）的基础知识，展示调优单个 GEMM 的示例，最后通过 TunableOp 演示在 LLM（gemma）上实现的实际性能提升。注意PyTorch TunableOp 在 torch v2.3 或更高版本中可用。要运行此博客中的代码，请参阅附录中的。

最近，引入了一种新颖的架构，不仅在模型效果上超越了Transformers，还实现了输入序列长度的线性扩展。在这篇博客中，我们深入探讨了Mamba架构，并展示了如何在搭载ROCm平台的AMD GPU上使用Mamba。

DLRM 位于推荐系统和深度学习的交汇处，利用神经网络在庞大的数据集中预测用户与物品的交互。它是一种强大的工具，在各种领域中个性化推荐，从电子商务到内容流媒体平台。正如《深度学习推荐模型：个性化和推荐系统》中讨论的那样，DLRM 具有几个组件：多个嵌入表将稀疏特征（每个特征一个）映射到密集表示。一个底部多层感知器 (MLP)，将密集特征转换为与嵌入向量长度相同的密集表示。一个特征交互层，计算所有嵌入向量和处理后的密集特征之间的点积。

在这篇博客文章中，我们一步一步地展示了如何在AMD硬件上使用ROCm，微调和测试三种最先进的机器学习自动语音识别（ASR）模型。我们首先介绍了Wav2Vec 2.0模型，该模型已经过微调，用于西班牙语的自动语音识别。接着，我们研究了如何使用音频频谱变换器进行音频分类。最后，我们重点介绍了如何使用PyAnnote.Audio进行讲话者区分。每个模型的微调和推理过程都强调了ROCm在AMD GPU上处理复杂语音处理任务时的稳健性和能力。

TensorFlow Profiler 是一组旨在衡量 TensorFlow 模型执行期间资源利用率和性能的工具。它提供了关于模型如何与硬件资源交互的深入见解，包括执行时间和内存使用情况。TensorFlow Profiler 有助于定位性能瓶颈，使我们能够微调模型的执行，以提高效率并加快结果，这在需要接近实时预测的场景中尤为重要。机器学习算法，特别是深度神经网络，具有很高的计算需求。评估机器学习应用程序的性能，以确保执行的是经过最优化的模型版本，这一点至关重要。

Stone Ridge Technology（SRT）几乎在十年前通过其旗舰软件产品ECHELON开创了使用GPU进行高性能油藏模拟（HPC）的先河。ECHELON是首个此类软件，从一开始就专为充分利用大规模并行GPU的性能而设计，在功率、效率和准确性方面在行业中独树一帜。现在，ECHELON已经在其模拟引擎中加入了对AMD Instinct加速器的支持，为其客户提供了新的灵活性和选择性。油藏模拟器用于模拟在存在油井的情况下，地下碳氢化合物和水的流动。能源公司使用这些模拟器来创建和评估油田开发策略。

分割任务——识别图像中哪些像素属于某对象——是计算机视觉中的一个基础任务，应用广泛，从科学图像分析到照片编辑。Segment Anything 模型(SAM)是一个先进的图像分割模型，它通过提示分割（promptable segmentation）实现了前所未有的多功能性，使图像分析任务变得更加简单。SAM 可以用于帮助在需要查找和分割图像中任何对象的领域内应用。对于AI研究社区和其他相关领域，SAM 很有可能成为大型AI系统中的关键组件，在多模态环境中实现对世界的全面理解。

GEMM 是线性代数、机器学习和深度神经网络中的一个基本模块。它被定义为操作：E=α×(A×B)+β×(D)，其中 A 和 B 是矩阵输入，α 和 β 是标量输入，D 是一个预先存在的矩阵。以全连接层中常用的线性变换为例，这些术语分别对应输入激活 (A)、权重 (B)、偏置 (D) 和输出 (E)。(DeviceGemmMultipleD_Xdl_CShuffle)` 结构体作为基本实例，探索 AMD Instinct 加速器在 GEMM 计算中的计算能力。实例的实现包含两个阶段：模板参数定义；

Detectron2 是 Meta 领先的计算机视觉项目之一，主要用于目标检测和分割。它是一个灵活、可扩展、模块化的代码库，被 Meta 的许多研究项目及生产应用所采纳。除了其核心库外，Detectron2 的可扩展性为多种发布时处于最先进水平的计算机视觉算法铺平了道路。DensePose- 前景物体的 3D 几何形状。TensorMask- 基于滑动窗口的语义分割。ViTDet- 基于 Transformer 的目标检测骨干网络。Detectron2 还为 Meta 的智能相机。

Rocprof 是一款强大的工具，设计用于分析和优化在 AMD ROCm 平台上运行的 HIP 程序的性能，帮助开发者找到并解决性能瓶颈。Rocprof 提供各种分析数据，包括性能计数器、硬件追踪和运行时 API/活动追踪。Rocprof 是一个命令行接口（CLI）分析器，可以用在运行在 ROCm 支持的 GPU 上的应用程序，无需对应用程序进行任何代码修改。Rocprof CLI 允许用户追踪由 ROCm 提供的 API（如 HIP 或 HSA）驱动的 GPU 应用程序的整个执行过程。

他们组成了一个团队，包括当前密歇根大学的博士生 Juechu “Joy” Dong 和 Xueshen Liu，还邀请了 Dr. Harisankar Sadasivan（现任 AMD 并且曾是 Narayanasamy 教授的博士生）共同指导学生团队，优化和加速 AMD GPU 上的 Minimap2。在他们的导师Narayanasamy教授的指导下，Joy和Xueshen进行了彻底的调查，开发了一种新的“分段”方法，通过将长读片分割成更小的部分来更好地平衡工作负荷。这证明了其工作的质量和影响力。

作者:发布日期: 2024年4月30日。

自从AI发布了Mixtral 8x7B以来，专家混合（MoE）在AI社区重新获得了关注。受此发展启发，多个AI公司陆续推出了基于MoE的模型，包括xAI的Grok-1、Databricks的DBRX和Snowflake的Artic。与相同规模的密集模型相比，MoE架构具备一些优势，包括更快的训练时间、加快的推理速度和在基准测试中的性能提升。该架构由两个部分组成。第一部分是稀疏的MoE层，用以替代典型Transformer架构中的密集前馈网络（FFN）层。

2024年4月26日，由撰写。LLaVa（Large Language And Vision Assistant）在2023年被推出，并成为多模态模型的一个里程碑。它结合了预训练的和预训练的，用于通用视觉和语言理解。在2024年1月，LLaVa-NeXT发布了，它具备了显著的增强，包括更高输入视觉分辨率以及改进的逻辑推理和世界知识。LLaVa模型的核心是使用一个简单的线性层将图像特征连接到词嵌入空间，从而使其在实验运行时更加高效。

2024年4月24日，由撰写。在本博客中，我们将构建一个类似CLIP的视觉-文本双编码器模型，并在AMD GPU上使用ROCm对其进行微调，使用。这项工作受到和的启发。我们的目标是联合训练一个视觉编码器和一个文本编码器，将图像及其描述的表示投射到相同的嵌入空间中，使文本嵌入位于描述其图像的嵌入附近。在训练过程中，目标是最大化批次内图像和文本对嵌入的相似性，同时最小化错误对的嵌入相似性。该模型通过学习一个多模态嵌入空间来实现这一点。使用对称交叉熵损失优化这些相似性分数。。

人工智能在各类内容生成中实现了重大转变，包括文本、图像和音频领域。虽然在图像生成方面通过扩散模型取得了显著进展，但由于训练的复杂性，视频生成在目前仍然是一项具有挑战性的任务。尽管在文本到图像合成方面已有明显进步，但缺乏公开可用的视频生成代码库阻碍了进一步的研究。为了解决这一问题，引入了一种简单而有效的视频生成方法，利用潜在扩散模型和多帧训练策略。实验结果显示了该模型的优越性能，使其成为未来视频合成研究的有价值基线。ModelScopeT2V模型架构来源: ModelScope文本到视频技术报告。