![](https://img-blog.csdnimg.cn/20191115110841151.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
NLP
文章平均质量分 90
uncle_ll
这个作者很懒,什么都没留下…
展开
-
机器学习:self supervised learning- Recent Advances in pre-trained language models
自监督学习的预训练模型近期发展原创 2023-07-16 11:55:44 · 302 阅读 · 0 评论 -
Attention Is All You Need
Attention Is All You Need论文地址:http://papers.nips.cc/paper/7181-attention-is-all-you-%0Aneed.pdf源代码:https://github.com/tensorflow/tensor2tensor摘要主要的序列转导模型是基于复杂的循环或卷积神经网络,包括编码器和解码器。性能最好的模型还通过一个注意机制连接编码器和解码器。我们提出了一种新的简单网络结构,即Transformer,它完全基于注意机制,完全不需要递归和原创 2021-11-09 18:42:52 · 1243 阅读 · 0 评论 -
Dual-View Distilled BERT for Sentence Embedding
论文标题:Dual-View Distilled BERT for Sentence Embedding论文链接:https://arxiv.org/pdf/2104.08675v1.pdf来源:SIGIR2021摘要近年来,BERT通过单词级交叉句子注意实现句子匹配取得了重大进展。然而,当使用孪生BERT网络推导两个句子嵌入时,性能显著下降,由于两个句子之间没有单词级注意,因此无法捕获全局语义。在本文中,提出了一种双视图提取BERT(DvBERT)。我们的方法处理来自两个不同视图的句子对,即sia原创 2021-11-02 13:39:22 · 498 阅读 · 0 评论