本文介绍了ConSERT模型，一个由美团NLP中心提出的用于解决BERT句子表示坍缩问题的对比学习方法。通过在目标领域无监督数据上微调，该模型在句子语义匹配任务中表现优越。文章提供了在极链AI云平台上复现ConSERT的步骤，包括数据下载、训练和推理代码的执行，旨在简化论文复现过程。
一、模型介绍
Consert是由2021年的论文：A Contrastive Framework for Self-Supervised Sentence Representation Transfer提出，现在在深度学习网络中应用越来越广泛。论文地址：https://aclanthology.org/2021.acl-long.393.pdf 为解决BERT原生句子表示这种“坍缩”现象，美团NLP中心知识图谱团队提出了基于对比学习的句子表示迁移方法——ConSERT，通过在目标领域的无监督语料上Fine-tune，使模型生成的句子表示与下游任务的数据分布更加适配。在句子语义匹配（STS）任务的实验结果显示，同等设置下ConSERT相比此前的SOTA大幅提升了8%，并且在少样本场景下仍表现出较强的性能提升。
接下来我们一起看看如何快速进行论文复现吧！
二、创建实例
首先打开极链AI云的官网，选择模型创建实例：
https://cloud.videojj.com/model?source=csdn
最低0.47元/天 解锁文章
1476
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
