更新说明
- 2023.06.08,添加检索任务的评测结果,在 T2Ranking 1W 中文数据集上,m3e-base 在 ndcg@10 上达到了 0.8004,超过了 openai-ada-002 的 0.7786
- 2023.06.07,添加文本分类任务的评测结果,在 6 种文本分类数据集上,m3e-base 在 accuracy 上达到了 0.6157,超过了 openai-ada-002 的 0.5956
项目地址:
- m3e-small
https://huggingface.co/moka-ai/m3e-small
- m3e-base
https://huggingface.co/moka-ai/m3e-base
M3E 是 Moka Massive Mixed Embedding 的缩写
-
Moka,此模型由 MokaAI 训练,开源和评测,训练脚本使用 uniem ,评测 BenchMark 使用 MTEB-zh
-
Massive,此模型通过千万级 (2200w+) 的中文句对数据集进行训练
-
Mixed,此模型支持中英双语的同质文本相似度计算,异质文本检索等功能,未来还会支持代码检索
-
Embedding,此模型是文本嵌入模型,可以将自然语言转换成稠密的向量
相关 GitHub 仓库:wangyuxinwhy/uniem
更新说明
-
2023.06.08,添加检索任务的评测结果,在 T2Ranking 1W 中文数据集上,m3e-base 在 ndcg@10 上达到了 0.8004,超过了 openai-ada-002 的 0.7786
-
2023.06.07,添加文本分类任务的评测结果,在 6 种文本分类数据集上,m3e-base 在 accuracy 上达到了 0.6157,超过了 openai-ada-002 的 0.5956
模型对比
参数数量 | 维度 | 中文 | 英文 | s2s | s2p | s2c | 开源 | 兼容性 | s2s Acc | s2p ndcg@10 | |
---|---|---|---|---|---|---|---|---|---|---|---|
m3e-small | 24M | 512 | 是 | 否 | 是 | 否 | 否 | 是 | 优 | 0.5834 | 0.7262 |
m3e-base | 110M | 768 | 是 | 是 | 是 | 是 | 否 | 是 | 优 | 0.6157 | 0.8004 |
text2vec | 110M | 768 | 是 | 否 | 是 | 否 | 否 | 是 | 优 | 0.5755 | 0.6346 |
openai-ada-002 | 未知 | 1536 | 是 | 是 | 是 | 是 | 是 | 否 | 优 | 0.5956 | 0.7786 |
说明:
-
s2s, 即 sentence to sentence ,代表了同质文本之间的嵌入能力,适用任务:文本相似度,重复问题检测,文本分类等
-
s2p, 即 sentence to passage ,代表了异质文本之间的嵌入能力,适用任务:文本检索,GPT 记忆模块等
-
s2c, 即 sentence to code ,代表了自然语言和程序语言之间的嵌入能力,适用任务:代码检索
-
兼容性,代表了模型在开源社区中各种项目被支持的程度,由于 m3e 和 text2vec 都可以直接通过 sentence-transformers 直接使用,所以和 openai 在社区的支持度上相当
-
ACC & ndcg@10,详情见下方的评测
Tips:
-
使用场景主要是中文,少量英文的情况,建议使用 m3e 系列的模型
-
多语言使用场景,并且不介意数据隐私的话,我建议使用 openai-ada-002
-
代码检索场景,推荐使用 ada-002
使用方式
您需要先安装 sentence-transformers
pip install -U sentence-transformers
安装完成后,您可以使用以下代码来使用 M3E Models
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('moka-ai/m3e-base')
#Our sentences we like to encode
sentences = [
'* Moka 此文本嵌入模型由 MokaAI 训练并开源,训练脚本使用 uniem',
'* Massive 此文本嵌入模型通过**千万级**的中文句对数据集进行训练',
'* Mixed 此文本嵌入模型支持中英双语的同质文本相似度计算,异质文本检索等功能,未来还会支持代码检索,ALL in one'
]
#Sentences are encoded by calling model.encode()
embeddings = model.encode(sentences)
#Print the embeddings
for sentence, embedding in zip(sentences, embeddings):
print("Sentence:", sentence)
print("Embedding:", embedding)
print("")
M3E 系列的所有模型在设计的时候就考虑到完全兼容 sentence-transformers ,所以你可以通过替换名称字符串的方式在所有支持 sentence-transformers 的项目中无缝使用 M3E Models,比如 chroma, guidance, semantic-kernel 。
-
chroma:https://docs.trychroma.com/getting-started
-
guidance:https://github.com/microsoft/guidance
-
semantic-kernel:https://github.com/microsoft/semantic-kernel
训练方案
M3E 使用 in-batch 负采样的对比学习的方式在句对数据集进行训练,为了保证 in-batch 负采样的效果,我们使用 A100 80G 来最大化 batch-size,并在共计 2200W+ 的句对数据集上训练了 1 epoch。训练脚本使用 uniem,您可以在这里查看具体细节。
特性
-
中文训练集,M3E 在大规模句对数据集上的训练,包含中文百科,金融,医疗,法律,新闻,学术等多个领域共计 2200W 句对样本,数据集详见 M3E 数据集
-
英文训练集,M3E 使用 MEDI 145W 英文三元组数据集进行训练,数据集详见 MEDI 数据集,此数据集由 instructor team 提供
-
指令数据集,M3E 使用了 300W + 的指令微调数据集,这使得 M3E 对文本编码的时候可以遵从指令,这部分的工作主要被启发于 instructor-embedding
-
基础模型,M3E 使用 hfl 实验室的 Roberta 系列模型进行训练,目前提供 small 和 base 两个版本,大家则需选用
-
ALL IN ONE,M3E 旨在提供一个 ALL IN ONE 的文本嵌入模型,不仅支持同质句子相似度判断,还支持异质文本检索,你只需要一个模型就可以覆盖全部的应用场景,未来还会支持代码检索
上述部分数据集和模型地址:
-
MEDI 数据集https://drive.google.com/file/d/1vZ5c2oJNonGOvXzppNg5mHz24O6jcc52/view
-
instructor-embeddinghttps://github.com/HKUNLP/instructor-embedding
-
Roberta 模型https://huggingface.co/hfl/chinese-roberta-wwm-ext
评测
-
评测模型,text2vec, m3e-base, m3e-small, openai-ada-002
-
评测脚本,具体参考 MTEB-zh
https://github.com/wangyuxinwhy/uniem/blob/main/mteb-zh
文本分类
-
数据集选择,选择开源在 HuggingFace 上的 6 种文本分类数据集,包括新闻、电商评论、股票评论、长文本等
-
评测方式,使用 MTEB 的方式进行评测,报告 Accuracy。
text2vec | m3e-small | m3e-base | openai | |
---|---|---|---|---|
TNews | 0.43 | 0.4443 | 0.4827 | 0.4594 |
JDIphone | 0.8214 | 0.8293 | 0.8533 | 0.746 |
GubaEastmony | 0.7472 | 0.712 | 0.7621 | 0.7574 |
TYQSentiment | 0.6099 | 0.6596 | 0.7188 | 0.68 |
StockComSentiment | 0.4307 | 0.4291 | 0.4363 | 0.4819 |
IFlyTek | 0.414 | 0.4263 | 0.4409 | 0.4486 |
Average | 0.5755 | 0.5834 | 0.6157 | 0.5956 |
检索排序
T2Ranking 1W
-
数据集选择,使用 T2Ranking 数据集,由于 T2Ranking 的数据集太大,openai 评测起来的时间成本和 api 费用有些高,所以我们只选择了 T2Ranking 中的前 10000 篇文章https://github.com/THUIR/T2Ranking
-
评测方式,使用 MTEB 的方式进行评测,报告 map@1, map@10, mrr@1, mrr@10, ndcg@1, ndcg@10
text2vec | openai-ada-002 | m3e-small | m3e-base | |
---|---|---|---|---|
map@1 | 0.4684 | 0.6133 | 0.5574 | 0.626 |
map@10 | 0.5877 | 0.7423 | 0.6878 | 0.7656 |
mrr@1 | 0.5345 | 0.6931 | 0.6324 | 0.7047 |
mrr@10 | 0.6217 | 0.7668 | 0.712 | 0.7841 |
ndcg@1 | 0.5207 | 0.6764 | 0.6159 | 0.6881 |
ndcg@10 | 0.6346 | 0.7786 | 0.7262 | 0.8004 |
T2Ranking
-
数据集选择,使用 T2Ranking,刨除 openai-ada-002 模型后,我们对剩余的三个模型,进行 T2Ranking 10W 和 T2Ranking 50W 的评测。(T2Ranking 评测太耗内存了... 128G 都不行)
-
评测方式,使用 MTEB 的方式进行评测,报告 ndcg@10
text2vec | m3e-small | m3e-base | |
---|---|---|---|
t2r-1w | 0.6346 | 0.72621 | 0.8004 |
t2r-10w | 0.44644 | 0.5251 | 0.6263 |
t2r-50w | 0.33482 | 0.38626 | 0.47364 |
说明:
-
检索排序对于 text2vec 并不公平,因为 text2vec 在训练的时候没有使用过检索相关的数据集,所以没有办法很好的完成检索任务也是正常的。
M3E数据集
如果您想要使用这些数据集,你可以在 uniem process_zh_datasets 中找到加载 huggingface 数据集的脚本,非 huggingface 数据集需要您根据下方提供的链接自行下载和处理。
数据集加载脚本所在仓库:wangyuxinwhy/uniem
表格内容下载地址:https://hf.co/datasets/HuggingFace-CN-community/posts/resolve/main/m3e-dataset-sheet.pdf
计划表
-
✔️ 完成 MTEB 中文评测 BenchMark, MTEB-zh
-
完成 Large 模型的训练和开源
-
完成支持代码检索的模型
-
对 M3E 数据集进行清洗,保留高质量的部分,组成 m3e-hq,并在 huggingface 上开源
-
在 m3e-hq 的数据集上补充 hard negative 的样本及相似度分数,组成 m3e-hq-with-score,并在 huggingface 上开源
-
在 m3e-hq-with-score 上通过 cosent loss loss 进行训练并开源模型,CoSent 原理参考这篇博客https://kexue.fm/archives/8847
-
开源商用版本的 M3E models
License
M3E models 使用的数据集中包括大量非商用的数据集,所以 M3E models 也是非商用的,仅供研究使用。不过我们已经在 M3E 数据集上标识了商用和非商用的数据集,您可以根据自己的需求自行训练。
Citation
请使用以下格式引用此模型:
@software {
Moka Massive Mixed Embedding,
author = {Wang Yuxin,Sun Qingxuan,He sicheng},
title = {M3E: Moka Massive Mixed Embedding Model},
year = {2023}
}