元象发布首个MoE大模型XVERSE-MoE-A4.2B：仅4.2B激活量，性能堪比13B级别

前言

近日,深圳元象科技正式发布了其首个基于混合专家(Mixture of Experts,MoE)架构的大型语言模型 - XVERSE-MoE-A4.2B。这款模型总参数量高达258亿,但在推理过程中仅需激活4.2亿参数,却展现出了媲美130亿参数大模型的性能表现,可谓是当前MoE架构领域的一大突破。

作为元象公司继XVERSE-65B和XVERSE-13B系列之后的又一重磅开源产品,XVERSE-MoE-A4.2B无疑将为国内外的中小企业、科研机构以及开发者带来全新的发展机遇。

• Huggingface模型下载：https://huggingface.co/xverse/XVERSE-MoE-A4.2B

• AI快站模型免费加速下载：https://aifasthub.com/models/xverse

突破传统MoE局限，性能出色

XVERSE-MoE-A4.2B之所以备受瞩目,主要源于其在MoE架构设计上的一系列创新:

• 首先是在模型结构上的突破。与传统MoE模型(如Mixtral 8x7B)每个专家大小等同于标准前馈网络(FFN)不同,XVERSE-MoE-A4.2B采用了更细粒度的专家设计,每个专家仅为标准FFN的1/4大小。这不仅提升了模型的灵活性,也大幅提高了性能表现。

• 同时,XVERSE-MoE-A4.2B还将专家分为了共享专家(Shared Expert)和非共享专家(Non-shared Expert)两类。共享专家