Luotuo-Text-Embedding: 基于OpenAI API蒸馏的生成式文本嵌入模型

uotuo-Text-Embedding:开创中文文本表示新纪元

在自然语言处理(NLP)领域,文本表示一直是一个核心问题。如何将文本信息转化为计算机可以理解和处理的数值向量,对于诸多下游任务至关重要。近日,由李鲁鲁、冷子昂等多位研究者共同开发的Luotuo-Text-Embedding模型在GitHub上开源,为中文NLP社区带来了一个强大的新工具。

模型简介

Luotuo-Text-Embedding​​​​​​​(骆驼嵌入)是一个生成式文本嵌入模型,通过蒸馏OpenAI的text-embedding-ada-002 API实现。该模型能够将任意中文文本映射到1536维的向量空间,使得语义相近的文本在该空间中的距离更接近。这一特性使得Luotuo-Text-Embedding在文本可视化、检索、聚类等多个应用场景中表现出色。

主要特点

1. 多样化的模型选择: Luotuo-Text-Embedding提供了不同规模的模型版本,包括基于BERT的小型(110M参数)和中型(352M参数)模型,以及基于GLM的大型模型。用户可以根据实际需求和计算资源选择适合的版本。

2. 优秀的性能表现: 通过与OpenAI API的结果对比,研究团队发现Luotuo-Text-Embedding在多个测试中均取得了可比的性能。这意