C-MTEB
(C-Pack: Packaged Resources To Advance General Chinese Embedding)
C-MTEB为了评估中文文本向量,共收集了35个公共数据集,一共分为6类评估任务
。
1、文本分类(Classification)
任务目标: 模型能够对文本的类别进行准确标注。
任务描述: 基于提供的模型生成文本向量,并使用这些向量作为特征来训练分类器,对文本进行分类。
评估指标: 准确率(多分类)、精确率(二分类)
2、文本聚类(Clustering)
任务目标: 模型能够将文本分组至N个预先没有定义的类别中。
任务描述: 基于提供的模型生成文本向量,并利用聚类模型对这些向量进行分组。
评估指标: V-Measure
3、句子对分类(Pair Classification)
任务目标: 模型能够判断一对文本之间是否存在特定关系,如语义等价或对立。
任务描述: 给定一对文本,判断其是否具有相同含义。
评估指标: AP
4、重新排序(Reranking)
任务目标: 给定一个查询语句和一组候选文本,目标是根据这组候选文本与查询语句的相关性对候选文本进行排序。
任务描述: 输入是一个查询语句以及一组候选文本的列表。模型编码文本后比较与查询语句的相似性。
评估指标: MAP
5、检索(Retrieval)
任务目标: 从大规模文档库中检索出查询语句匹配度最高的文档。
任务描述: 文本向量化后对所有查询语句和文档库中文档计算余弦相似度。得到k个相似度最高的候选文档。
评估指标: NDCG@k
6、语义文本相似度(Semantic Textual Similarity, STS)
任务目标: 模型能够估给定句子对的语义相似度。
任务描述: 基于提供的模型生成文本向量,并使用诸如余弦相似度之类的度量来计算它们之间的相似性。
评估指标: Spearman秩相关性系数
参考
C-Pack: Packaged Resources To Advance General Chinese Embedding