猎户星空大模型发布：700亿以下参数基座模型中文第一

本文链接：https://blog.csdn.net/nulifancuoAI/article/details/135751504

前言

在人工智能领域，猎户星空大模型的发布无疑是一个里程碑。作为一个具有140亿参数的多语种大模型，猎户星空在一个包含2.5万亿token的多样化数据集上进行了训练，涵盖了中文、英语、日语、韩语等多种语言。在多语言环境下的一系列任务中，它展现出了卓越的性能，尤其在中文处理上的表现，使其成为700亿以下参数基座模型中的佼佼者。

Orion-14B系列大模型有以下几个特点：

基座20B参数级别大模型综合评测效果表现优异
多语言能力强，在日语、韩语测试集上显著领先
微调模型适应性强，在人类标注盲测中，表现突出
长上下文版本支持超长文本，在200k token长度上效果优异，最长可支持可达320k
量化版本模型大小缩小70%，推理速度提升30%，性能损失小于1%

具体而言，Orion-14B系列大语言模型包含:

Orion-14B-Base: 基于2.5万亿tokens多样化数据集训练处的140亿参数量级的多语言基座模型。
Orion-14B-Chat: 基于高质量语料库微调的对话类模型，旨在为大模型社区提供更好的用户交互体验。
Orion-14B-LongChat: 在200k token长度上效果优异，最长可支持可达320k，在长文本评估集上性能比肩专有模型。
Orion-14B-Chat-RAG: 在一个定制的检索增强生成数据集上进行微调的聊天模型，在检索增强生成任务中取得了卓越的性能。
Orion-14B-Chat-Plugin: 专门针对插件和函数调用任务定制的聊天模型，非常适用于使用代理的相关场景，其中大语言模型充当插件和函数调用系统。
Orion-14B-Base-Int4: 一个使用int4进行量化的基座模型。它将模型大小显著减小了70%，同时提高了推理速度30%，仅引入了1%的最小性能损失。
Orion-14B-Chat-Int4: 一个使用int4进行量化的对话模型。

技术细节与创新

Orion-14B-Base作为猎户星空系列的核心模型，基于2.5万亿tokens的多样化数据集进行了训练，这一巨量的数据包括了丰富的语言类型和多样的语境场景。在主流的公开基准评测中，Orion-14B系列模型表现优异，多项指标显著超越同等参数级别的其他模型。这一成就得益于其在技术上的多项创新，例如其微调模型的适应性极强，在人类标注的盲测中表现突出。