昇腾原生开源模型资源-持续更新
1. B站index-1.9B模型
https://github.com/bilibili/Index-1.9B
Index-1.9B系列是Index系列模型中的轻量版本,包含以下模型:
Index-1.9B base : 基座模型,具有 19亿 非词嵌入参数量,在2.8T 中英文为主的语料上预训练,多个评测基准上与同级别模型比处于领先.
Index-1.9B pure : 基座模型的对照组,与base具有相同的参数和训练策略,不同之处在于我们严格过滤了该版本语料中所有指令相关的数据,以此来验证指令对benchmark的影响
Index-1.9B chat : 基于index-1.9B base通过SFT和DPO对齐后的对话模型,我们发现由于我们预训练中引入了较多互联网社区语料,聊天的趣味性明显更强
Index-1.9B character : 在SFT和DPO的基础上引入了RAG来实现fewshots角色扮演定制
index-1.9B模型,使用2.8T数据,bf16精度,在128张昇腾NPU 上28天完成训练。