愤怒的可乐
主要研究NLP、机器瞎学、大模型。添加微信:greyfoss_szu 一起交流~,添加时请备注CSND。
展开
-
[论文笔记]MatchPyramid
⭐ 作者将文本匹配看作是图像识别任务。将两端文本单词之间的匹配矩阵当成是图像,然后应用分层卷积网络捕获丰富的匹配模式。原创 2023-11-23 20:00:00 · 1098 阅读 · 0 评论 -
[论文笔记]BGE
⭐ 作者发布了C-Pack,一套推进中文文本嵌入领域的资源包。包含中文文本嵌入基准C-MTEB、大规模文本嵌入数据集C-MTP和多个规模的嵌入模型BGE。同时还发布了完整的训练方法。原创 2023-10-31 22:18:41 · 1190 阅读 · 0 评论 -
[论文笔记]RetroMAE
⭐ 作者提出了一种掩码自编码框架RetroMAE,用于预训练面向检索的语言模型:输入句子在编码器和解码器中被随机遮盖,然后将句子嵌入与解码器的遮盖输入拼接起来,重构原始输入。原创 2023-10-31 21:48:28 · 893 阅读 · 0 评论 -
[论文笔记]GTE
⭐ 本篇工作提出了一个两阶段对比学习方法,通过一个改进的对比学习目标,在固定的批次大小下能够有效地扩大负样本池,在无监督预训练阶段采用在网上公开的数据构建出大量的弱监督文本对,在有监督微调阶段也从大量任务和领域中收集数据进行微调,结合这两个阶段训练了一个统一的文本嵌入模型。原创 2023-10-28 09:09:47 · 1712 阅读 · 0 评论 -
[论文笔记]E5
⭐ 作者提出了E5模型,以带弱监督信号的对比学习方式训练。提出了一种新的数据集CCPairs,在这个新的数据集上E5得到了不错的性能。原创 2023-10-28 09:08:22 · 848 阅读 · 0 评论 -
[论文笔记]Sentence-BERT[v2]
⭐ 作者提出了SBERT,通过孪生/三胞胎网络结构来微调BERT,然后对BERT的输出求平均可以得到包含语义信息的句向量。能用于语义搜索、聚合以及大规模语义相似度比较等场景。具体使用什么网络结构取决于数据集。原创 2023-10-19 21:14:29 · 804 阅读 · 0 评论 -
[论文笔记]SimCSE
⭐ SimCSE是一个简单的对比学习框架,它可以通过无监督和有监督的方式来训练。对于无监督方式,仅利用Dropout的随机性,对同一个句子输入两次得到的不同嵌入做为对比学习的正样本对。对于有监督方式,采用NLI中的前提和蕴含做为正样本对,前提和矛盾作为困难负样本对。该方法可以解决BERT/RoBERTa模型句嵌入各向异性问题,推进了SOTA的结果。原创 2023-10-14 15:38:35 · 788 阅读 · 0 评论 -
[论文笔记]Poly-encoder
:star: 通过引入了code向量来改造BERT提出了Poly-encoder模型,它结合了Bi-encoder和Cross-encoder的优点,可以用于生产部署。原创 2023-10-07 19:22:02 · 435 阅读 · 0 评论 -
[论文笔记]RE2
19年发布的RE2模型,模型简单,推理快速,性能强大。原创 2023-09-16 17:41:41 · 645 阅读 · 0 评论 -
[论文笔记]BiMPM
本篇论文提出了双向匹配来提取交互特征,提出了多视角匹配操作,可用于文本匹配。原创 2023-09-10 15:49:54 · 638 阅读 · 0 评论 -
[论文笔记]ESIM
经典论文ESIM笔记,本论文作者提出的该模型可作为后续工作的一个baseline,包含了自注意力、双向LSTM、各种语义特征组合。模型简单,效果不错。原创 2023-09-05 07:52:39 · 738 阅读 · 0 评论 -
[论文笔记]A COMPARE-AGGREGATE MODEL FOR MATCHING TEXT SEQUENCES
通过比较聚合框架来计算语句向量,提出了一种新颖的比较函数。原创 2023-09-03 20:02:39 · 895 阅读 · 0 评论 -
[论文笔记]SiameseNet
通过孪生网络+对比损失来对语句向量化,可以应用到各种不同下游任务。原创 2023-09-03 14:10:48 · 1211 阅读 · 0 评论 -
[论文笔记]DSSM
第一篇利用DNN为查询和文档建模的论文。原创 2023-08-31 21:29:25 · 470 阅读 · 0 评论