【AI开源大模型】GLM-130B:开放的中英双语预训练模型
GLM-130B 是一个开源开放的双语(中文和英文)双向稠密模型,拥有 1300 亿个参数,模型架构采用通用语言模型(GLM)。它旨在支持在一台 A100(40G * 8)或V100(32G * 8)服务器上对千亿规模的参数进行推理。双语:同时支持中文和英文。任务表现(英文): 在 LAMBADA 上优于 GPT-3 175B(+4.0%)、OPT-175B(+5.5%)和 BLOOM-176B(+13.0%),在 MMLU 上略优于GPT-3 175B(+0.9%)。任务表现(中文)
复制链接