强化学习曾小健

这段代码读取一个 JSONL 文件中的每一行，提取prompt字段，然后使用 vllm 部署的 Yuan API 发送请求，生成文本后打印结果。代码目前设置为仅处理文件中的第一行。

袁2.0-M32:专家与注意力路由器的混合体吴少华*、罗建刚、陈曦、李玲君、赵旭东、佟宇、汪超、、、乔、何、张泽如、孙泽宇、毛、IEIT系统摘要元2.0-M32的基础架构与元2.0相似，使用混合专家架构，有32个专家，其中2个专家是激活active的。提出了一种新的路由网络&注意力路由，并采用它来更有效地选择专家，与传统的路由网络模型相比，提高了准确性。袁2.0-M32从零开始用2000B的令牌进行训练，训练计算消耗仅为同参数规模下密集模型的9.25%。袁2.0-M32展示了在

这个脚本通过torchrun启动了一个分布式推理服务器，用于运行 "Yuan-2.1B" 模型。脚本设置了各种模型参数、分布式训练配置以及推理服务器的相关配置。脚本中的关键配置包括指定使用的 GPU 设备、设置 NCCL 超时时间、定义GPT 模型参数、指定 Tokenizer 类型和路径、以及加载模型检查点等。

Yuan2.0-M32 是一个包含32位专家的混合专家（MoE）语言模型，其中2位处于活跃状态。提出了一种新型路由网络——注意力路由器，并已被采纳用于更高效的专家选择，相较于使用传统路由网络的模型，其准确度提升了3.8%。Yuan2.0-M32 从头开始训练，使用了2000亿个token，其训练计算量仅为同等参数规模的密集模型所需计算量的9.25%。

大幅提升了模型算力效率，在实现与业界领先开源大模型性能相当的同时，显著降低了在模型训练、微调和推理所需的算力开销。结合高效的数据清洗流程，满足大模型训练“丰富性、全面性、高质量”的数据集需求。源2.0-M32是浪潮信息在大模型领域持续耕耘的最新探索成果，通过在算法、数据、算力等方面的全面创新，M32不仅可以提供与业界领先开源大模型相当的性能，更可以大幅降低大模型所需算力消耗。基于在算法、数据和算力方面全面创新，源2.0-M32的性能得以大幅提升，在多个业界主流的评测任务中，展示出了较为先进的能力表现，

👾• 🤗• 💬• 📎。