![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理论文解读
文章平均质量分 90
JpyJpy321
这个作者很懒,什么都没留下…
展开
-
对比学习
基本原理先从无监督表示学习讲起。表示学习的目标是为输入 x 学习一个表示 z,最好的情况就是知道 z 就能知道 x。这就引出了无监督表示学习的第一种做法:生成式自监督学习。比如还原句子中被mask的字,或者还原图像中被mask的像素。但这种方式的前提需要假设被mask的元素是相互独立的,不符合真实情况。这句话是什么意思呢,下面会用举例1来说明一下。另一方面,研究者们也质疑如此细粒度的还原是否真正必要。这句话的意思应该是是否需要模型有能够看到上下文就能对某个字精确预测的能力,才算模型真正理解了这些词,这原创 2021-05-10 21:56:53 · 1332 阅读 · 0 评论 -
Joint embedding of words and labels for text classification 论文解读
Joint embedding of words and labels for text classification 论文解读模型结构X:[batch_size, sequence_length, vocab_size] one-hot表示每个词/字的输入数据y:[batch_size, class_nums] 输入数据的标签V:[batch_size, embedding_size, sequence_length] 词向量表示每个词/字的输入数据C:[embedding_size, cl原创 2020-10-07 17:35:56 · 477 阅读 · 1 评论