论文简读
关注
分享
扫一扫
这里就放置粗读过的一些论文了。详细的论文笔记可以访问我的知乎专栏：https://www.zhihu.com/column/c_1318518293372723200
难赋·慈善家
这个作者很懒，什么都没留下…
展开
-
Dense Passage Retrieval for Open-Domain Question Answering
EP⋅将文本映射为d维向量，并用它为文档集构建索引。EQ⋅将问题映射为d维向量，并用它检索k个对应的文章。定义相似性simqpEQqTEPp如何选择相似性？实际上有很多种相似度量函数，但我们为了能够预先计算文档的表示，相似函数必须是。（可分解函数fxyfxy∑iIuix∗viy内积现在有很好的工具支持（FAISS）。再经过实验搜索，发现内积几乎是最优解。因此确定了内积函数。原创 2023-02-05 16:13:09 · 406 阅读 · 0 评论 -
【论文简读】ACL21：Long-Span Summarization via Local Attention and Content Selection
这篇介绍了两种用于处理长文本摘要的方法：局部注意力机制内容选择局部注意力机制文章发现使用局部的注意力机制替换transformer中原始的全局注意力机制在不损失很多精度的前提下能大量减少内存使用量，对处理更长文本有一定帮助。内容选择（Content Selection）这个没看太懂是具体做什么的，也不是这篇论文提出的方法。该论文只是延续其他论文提出的方法在摘要领域做了一定的实验。先插个眼。数据集与实验论文使用了三个英文摘要数据集在BART和级联RNN上做了实验，在ROUGH指标上有一定提原创 2021-12-15 19:46:45 · 971 阅读 · 0 评论 -
一个字符级的文本分类模型：Character-level Convolutional Networks for Text Classification
这篇文章本来是要被我草草掠过的——字符级层次的卷积分类模型也不是那么难实现，毕竟这篇论文发表的前一年就是koom的TextCNN模型。文章看到一半才想起来，这个是英文域中的文本分类模型，仅仅用a-z26个英文字母就能够完成文本分类？这得好好看看了。...原创 2021-11-11 23:13:43 · 995 阅读 · 0 评论 -
论文简读：An Analysis of Single-Layer Networks in Unsupervised Feature Learning
这篇论文探讨了不同数据处理对单层神经网络的影响。文中是用图像分类举得例子。对图像先进行一个无监督的分类算法，再传给单层神经网络计算分类结果。用到的无监督方法有：高斯混合、稀疏约束玻尔兹曼机、K-means和稀疏自编解码。也探讨了白化、特征数目、感受野和stride的影响。...原创 2021-10-16 10:26:18 · 202 阅读 · 0 评论 -
论文简读：UniDrop
Dropout是一种用于降低过拟合程度的手段，本文提出在transformer模型中使用多种Dropout技术，进一步增强其效果。这些技术包括：特征Dropout（传统方式）这种模式已经在transfortmer模型中使用，本文又在两处使用了此种Dropout，其一是在Q、K和V上，另一种是在softmax前。LayerDrop。随机舍弃模型中的某些层。DataDropout。对数据进行drop。以一定概率保留样本，当应用drop时，以一定概率随机删除token。这两个概率不同。是超参数。经过分原创 2021-09-28 00:05:19 · 269 阅读 · 0 评论 -
论文简读：Semi-Supervised Text Classification with Balanced Deep Representation Distributions
这篇论文提出了一种新的半监督文本分类的训练方法：核心思想是不仅要考虑伪标签表示的最大分量，还要考虑为标签表示的方差。实现表明，对于半监督训练来说，标签角度方差的均值远大于监督训练：该方法考虑了标签角度方差，在多个数据集中取得SOTA效果。...原创 2021-08-20 10:46:19 · 541 阅读 · 0 评论