vivo 在最近的 2023 开发者大会上宣布了一个重磅消息,他们将率先向全行业开源 70 亿参数级的 BlueLM-7B 大模型以及对应的微调框架。
按照计划,vivo 已经在 Hugging Face 上正式开源了 BlueLM-7B,IT之家的小伙伴们可以在该平台获取到更多详细信息和代码。
这个开源的大模型包括 BlueLM-7B 基础模型和对话模型,同时 vivo 也开源了支持 32K 长文本的基础模型和对话模型。这些模型都经过了高质量语料库的训练,总计达到了 2.6 万亿的 token 数,这个语料库包含了中文、英文以及少量的日韩数据。其中,BlueLM-7B-Chat 在 C-Eval 和 CMMLU 两个评估标准上都展现出了领先的结果。
更值得一提的是,BlueLM-7B-Base-32K 和 BlueLM-7B-Chat-32K 两个模型均支持 32K 的长文本输入。在保持基础能力相当的情况下,这两个模型能够更好地理解更长的上下文信息。
这次 vivo 的开源大模型是其在人工智能领域深度投入的一部分,旨在推动整个行业的发展和创新。通过分享和开放源代码,vivo 希望与全行业的开发者一起,共同推动人工智能技术的进步和应用。