论文阅读：JINA EMBEDDINGS: A Novel Set of High-Performance Sentence Embedding Models

Abstract

JINA EMBEDINGS构成了一组高性能的句子嵌入模型，擅长将文本输入转换为数字表示，捕捉文本的语义。这些模型在密集检索和语义文本相似性等应用中表现出色。文章详细介绍了JINA EMBEDINGS的开发，从创建高质量的成对（pairwise）和三元组数据集（triplet datasets）开始。它强调了数据清理在数据集准备中的关键作用，深入了解了模型训练过程，并使用Massive Text Embedding Benchmark（MTEB）进行了全面的性能评估。此外，为了提高模型对语法否定的认识，构建了一个新的否定（negated）和非否定（non-negated）语句的训练和评估数据集，并向社区公开。

1.

Jina Embeddings模型集实在T5结构上通过对比学习训练而成。选择使用T5模型作为基础，因为它在一组混合的下游任务上进行了预训练。我们的大规模对比微调方法超越了zero-short T5，并提供了与其他领先的基于T5的句子嵌入模型（如句子-T5和GTR）相当的性能水平。这项工作表明，通过明智地使用资源和创新的训练方法，可以实现高质量的句子嵌入。

2. 数据准备

• 格式
  这里的格式分为二元组和三元组，对于未提供不相关信息的数据，用二元组表示为 ( q