再启AI开源新篇章，Llama 3.1已上架无问芯穹Infini-AI异构云平台

本文链接：https://blog.csdn.net/2401_87329534/article/details/142329649

北京时间7月23日，Meta发布了全新升级的Llama 3.1系列大模型，参数分别为8B、70B和405B。Llama 3.1上下文窗口从 8k 增加到了 128K，整整扩大 16 倍，同时支持8种语言。其中，Llama 3.1 405B是近年来参数规模最大的模型之一，数据显示其性能表现可与OpenAI的GPT-4o和Anthropic的Claude 3.5 Sonnet相媲美。

Llama 3.1系列模型与同等开、闭源模型数据对比

来源：Meta

目前，无问芯穹Infini-AI异构云平台已上架Llama 3.1 8B和Llama 3.1 70B，完成企业认证的用户可在Infini-AI的大模型服务平台（GenStudio）免部署调用并通过对话体验模型能力。

PC端体验地址：cloud.infini-ai.com

如何在Infini-AI异构云平台体验Llama 3.1

注册并登录GenStudio 👉 进入模型广场

注册并登录无问芯穹Infini-AI异构云平台，进入大模型服务平台（GenStudio）的模型广场，可以浏览平台预置的多种主流大模型，包括大语言模型、文生图模型、多模态模型等。用户可根据任务场景、模型大小、模型架构、支持芯片等维度复选标签，进行模型筛选，或直接输入模型名称，例如：Llama 3.1，快速定位所需模型。

GenStudio-模型广场-可选择Llama 3.1系列大模型

进入体验中心

点击模型卡片任意位置，进入模型详情页。我们为预置的Llama 3.1提供了基于 UI 交互的体验中心，右上角点击立即体验即可进入。体验中心页面分为配置区和互动体验区，提供带有上下文的对话体验。打开M*N体验模式，还可以通过对话交互，了解Llama 3.1 70B和Llama 3.1 8B效果的直观对比。

GenStudio-体验中心-M*N模式

模型微调支持一键部署

除了模型免部署体验外，GenStudio 已针对部分模型提供无代码微调服务（可在模型广场筛选“可微调”标签），用户只要收集业务数据，在界面做简单的配置，就能获得⼀个更贴合业务需求的模型。

GenStudio-模型微调

GenStudio支持将微调任务结果一键部署为在线模型服务，帮助用户将模型能力快速集成到业务应用中。

GenStudio-模型部署服务

用户在模型服务的监控标签页，可实时查看推理业务的性能表现、流量变化等指标；在用量统计页面，可通过改变统计维度，查看不同时段、不同模型的Token调用明细，获取当前平台的使用数据详情。

GenStudio-用量统计

开源模型新篇章，AI基础设施成关键

据Meta公布的论文《The Llama 3 Herd of Models》显示，此次训练的模型规模远大于以前的 Llama 模型，超过 Llama 2 的最大版本近 50 倍。

Llama 3.1 405B 模型使用了 3.8 × 10²⁵ 次浮点运算（FLOPs）进行预训练，在 15.6T Token上预训练 405B 是一项重大挑战，为此，Meta 优化了整个训练堆栈，训练时长30.84M GPU hours，使用了超过 16K H100 GPU。可见，基础设施正在成为模型效果之间拉开差距的重要原因。

Llama 3.1 405B在15.6T个token上预训练而成，来源：Meta

基础设施也是模型生态构建的重要影响因素。为了支持 405B 模型的大规模生产推理，Meta 将 16 位 (BF16) 量化为 8 位 (FP8)，从而降低了计算要求，并使模型能够在单个服务器节点上运行。

截止目前，超过 25 个Meta合作伙伴提供了可与最新模型搭配使用的服务，包括亚马逊云科技、NVIDIA、Databricks、Groq、Dell、Azure、Google Cloud 和 Snowflake 等。

Infini-AI也已上线Llama 3.1系列

无问芯穹Infini-AI异构云平台致力于成为最好的AI Native基础设施，是面向算法开发者和大模型应用开发者的企业级服务平台，由异构云管平台、一站式AI平台（AIStudio）和大模型服务平台（GenStudio）三部分构成，基于多元芯片算力底座，可以让开发者只花小成本，就享受好用工具和充沛算力。

其中，大模型服务平台GenStudio针对生成式大模型的应用落地的多种场景需求，为应用开发者提供高性能、易上手、安全可靠的大模型服务，覆盖从大模型开发到大模型服务化部署的全流程。