刘聪NLP-CSDN博客

原创 ACL2022 | DCSR：一种面向开放域段落检索的句子感知的对比学习方法

面向开放域段落检索的句子感知的对比学习，通过引入「段落内负例抽样策略」，使得同一段落内容中生成「不同得句子表征」，构建一个基于更小粒度得上下文句子表征模型，从而解决在对比学习训练过程中，将同一个段落向量与多个语义差异较大问题向量对应的冲突问题...

2022-06-13 17:51:44 348

原创 ACL2022 | NoisyTune：微调前加入少量噪音可能会有意想不到的效果

昨天看完NoisyTune论文，做好实验就来了。一篇ACL2022通过微调前加入给预训练模型参数增加噪音提高预训练语言模型在下游任务的效果方法-NoisyTune，论文全称《NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better》。......

2022-06-13 17:51:23 346

原创 ACL2022 | DictBERT：通过低频词典增强预训练模型表征方法

今天给大家带来一篇acl2022通过低频词典增强预训练模型表征论文-Dict-BERT，全名为《Dict-BERT: Enhancing Language Model Pre-training with Dictionary》

2022-06-12 18:45:55 803

原创 ACL2022论文分类汇总-Prompt、句子表征、检索排序&摘要

ACL2022会议的论文已经出来一阵子了，将论文列表过了一边，筛选了一些自己正在做或者感兴趣方向的相关论文，包括：Prompt（35篇）、句子表征（21篇）、检索排序（13篇）、摘要（35篇）和其他（11篇，个人觉得蛮有意思的论文）。...

2022-06-12 18:45:09 2635

原创总结 | Prompt在NER场景的应用

最近在做Prompt的相关内容，本人意识中一直觉得Prompt机制在序列标注任务上不是很好转换，因此，很早前，组长问我时，我夸下海口，说：“谁用prompt做NER呀”。然后，调研发现大佬们真是各显神通，是我目光短浅了。于是，决定进行一番总结，分享给大家。「有点长，大家慢慢看~~~」...

2022-06-12 18:44:26 2326 1

原创 EASE：一种融合实体信息的句子嵌入对比学习方法

今天给大家带来一篇NAACL2022论文，一种融合实体信息的句子嵌入对比学习方法，全名为《EASE: Entity-Aware Contrastive Learning of Sentence Embedding》。主要在传统的句子和句子之间的对比学习中，融入句子和实体的对比学习，提高最终句向量模型的效果。...

2022-06-12 18:43:16 453

原创 NAACL2022-Prompt相关论文&对Prompt的看法

最近在做Prompt的相关，整理NAACL2022中Prompt相关的论文，并把论文中对应的Github链接也附上了。并且一些自己特别感兴趣的论文，已经标星”*“，希望对大家有所帮助。后面也简单谈了谈对Prompt的看法，不是吐槽，不是吐槽，只是一些自己的真实感受。...

2022-06-12 18:42:29 1118

原创 PolyLoss：一种将分类损失函数加入泰勒展开式的损失函数

前两天实习生给我推了一篇针对损失函数进行优化的论文，一种将分类损失函数加入泰勒展开式的损失函数-PolyLoss，全名《POLYLOSS: A POLYNOMIAL EXPANSION PERSPECTIVE OF CLASSIFICATION LOSS FUNCTIONS》。由于该篇论文是在图像任务上进行实验的，抱着试一试的心态，在NLP的AFQMC数据上进行了实验，发现是有提升的，因此分享给大家。...

2022-06-12 18:41:07 733 1

原创 PERT：一种基于乱序语言模型的预训练模型

今天分享给大家一篇哈工大讯飞联合实验室的论文，一种基于乱序语言模型的预训练模型-PERT，全名《PERT: PRE-TRAINING BERT WITH PERMUTED LANGUAGE MODEL》。该篇论文的核心是，将MLM语言模型的掩码词预测任务，替换成词序预测任务，也就是在不引入掩码标记[MASK]的情况下自监督地学习文本语义信息，随机将一段文本的部分词序打乱，然后预测被打乱词语的原始位置。...

2022-06-12 18:40:24 1277 1

原创 DiffCSE：结合句子间差异的无监督句子嵌入对比学习方法

今天分享给大家一篇NAACL2022论文，结合句子间差异的无监督句子嵌入对比学习方法-DiffCSE，全名《DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings》。该篇论文主要是在SimCSE上进行优化，通过ELECTRA模型的生成伪造样本和RTD（Replaced Token Detection）任务，来学习原始句子与伪造句子之间的差异，以提高句向量表征模型的效果。...

2022-06-12 18:38:31 327

原创 SIGIR2022论文筛选

SIGIR2022会议的论文列表前一段时间放出来了，由于个人时间关系，今天将论文列表过了一边，筛选了一些自己正在做或者感兴趣方向的相关论文，包括：检索排序、小样本、生成、摘要、文本表征、问答等。...

2022-06-12 18:34:38 1295 1

原创 OpenAI：基于对比学习的预训练文本&代码表征技术

今天给大家带来一篇OpenAI的论文，基于对比学习预训练的文本和代码表征，全名《Text and Code Embeddings by Contrastive Pre-Training》。其实，这篇论文在春节放假期间我就看了，模型是套用GPT-3的模型，只是采用对比学习的方法，又继续预训练了一波；但是里面有个结论假设还挺有意思的，就是「搜索任务和句子相似任务，在句向量表征中是冲突的。」......

2022-06-12 18:31:08 1042 2

原创 SNCSE：一种基于软负例的无监督句向量对比学习方法

早上刷arxiv时，发现一篇通过「软负样本」结合「双向边际损失」的无监督句子嵌入对比学习方法-SNCSE。今天分享给大家，全名《SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples》。...

2022-06-11 13:35:54 423