m3e简介

最新推荐文章于 2024-07-16 15:08:07 发布

蒹葭苍苍，白露霜

最新推荐文章于 2024-07-16 15:08:07 发布

阅读量241

点赞数 2

文章标签：自然语言处理深度学习机器学习人工智能

本文链接：https://blog.csdn.net/dzljoy2/article/details/139931707

版权

文章目录

前言
一、m3e是什么？
二、原理
参考文献

前言

本文就介绍了大模型基础知识之m3e。

一、m3e是什么？

m3e是一种文本嵌入模型,可以将自然语言转换成稠密向量表示。它支持同质文本相似度计算和异质文本检索等功能。

二、原理

m3e利用对比学习的方式在大规模句对数据集上进行训练,学习将相似的句子映射到向量空间中的相近位置,将不相似的句子映射到远离的位置。对于异质文本检索任务,m3e将查询文本和候选文档分别编码为向量表示,然后计算两个向量的相似度分数(如余弦相似度)。根据相似度分数从候选文档中检索出与查询最相关的文档。m3e使用了指令数据集进行训练,使得在对文本编码时可以遵从指令,提高检索效果。它还支持中英双语的异质文本检索。