论文阅读笔记
文章平均质量分 91
这是我平时在看论文的时候根据自己的理解翻译的论文。
Alan and fish
虚心学习,沉潜,慎独,自律。
展开
-
【论文阅读24】Better Few-Shot Text Classification with Pre-trained Language Model
最近,预先训练过的语言模型在许多基准测试上都取得了非凡的性能。通过从一个大型的训练前语料库中学习一般的语言知识,该语言模型可以在微调阶段以相对少量的标记训练数据来适应特定的下游任务。更值得注意的是,带有175 B参数的GPT-3通过利用自然语言提示和很少的任务演示,在特定的任务中表现良好。受GPT-3成功的启发,我们想知道更小的语言模型是否仍然具有类似的少样本学习能力。不像在之前的少样本学习研究工作中,各种精心设计的任务,我们做得更实际。原创 2023-08-01 09:13:38 · 1171 阅读 · 0 评论 -
【论文阅读22】Label prompt for multi-label text classification
多标签文本分类由于其实际应用而受到学者的广泛关注。多标签文本分类的关键挑战之一是如何提取和利用标签之间的相关性。然而,在一个复杂和未知的标签空间中,直接建模标签之间的相关性是相当具有挑战性的。在本文中,我们提出了一种标签提示多标签文本分类模型(LP-MTC),该模型受到预先训练语言模型的启发。具体来说,我们设计了一套多标签文本分类的模板,将标签集成到预先训练过的语言模型的输入中,并通过屏蔽语言模型(MLM)进行联合优化。原创 2023-07-26 21:30:40 · 2536 阅读 · 1 评论 -
【论文阅读19】GloVe: Global Vectors for Word Representation
最近学习单词向量空间表示的方法已经成功地利用向量算术捕获了细粒度的语义和句法规律,但这些规律的起源仍然不清楚。我们分析并明确了在词向量中出现这些规律所需的模型性质。全局矩阵分解和局部上下文窗口方法。我们的模型通过只训练词-词共现矩阵中的非零元素,而不是训练整个稀疏矩阵或大型语料库中的单个上下文窗口,有效地利用了统计信息。该模型产生了一个具有有意义的子结构的向量空间,这证明了它在最近的一个单词类比任务中的表现为75%。它在相似性任务和命名实体识别方面也优于相关模型。原创 2023-05-11 17:08:17 · 574 阅读 · 0 评论 -
论文阅读【16】APLC_XLNET:Pretrained Generalized Autoregressive Model with Adaptive........
极端多标签文本分类(XMTC)是一项任务,它是用来自超大标签集中的最相关的标签来标记给定的文本。我们提出了一种新的深度学习方法,称为APLC-XLNet。我们的方法对最近发布的广义自回归预训练模型(XLNet)进行了微调,以学习输入文本的密集表示。我们提出了自适应概率标签簇(APLC),利用不平衡的标签分布形成明确减少计算时间的簇,以近似交叉熵损失。我们在5个基准数据集上进行的实验表明,我们的方法在4个基准数据集上取得了新的最先进的结果。在这篇论文中,我门提出了一种深度学习的方法解决极端多标签文本分类问题。原创 2023-04-13 11:06:16 · 180 阅读 · 0 评论 -
论文阅读【15】Exploiting Local and Global Features in Transformer-based Extreme Multi-label Text Classific
极端多标签文本分类(XMTC)是用相关标签标记每个文档的任务,其中目标空间可能包含多达数千个类别标签。。最近,大的transformer预训练模型作为提升XMTC任务的一个重要模型。他通常嵌入特殊的CLS token表示全部文本中的语意作为全局向量,并且将这些token与候选标签进行匹配。然而,我们认为在这样的全局特征向量不足够表达文本中不同粒度级别的语义信息,如然而使用局部词级的特征填充可能会带来以下其他的问题。原创 2023-04-05 19:33:46 · 222 阅读 · 0 评论 -
论文阅读【14】HDLTex: Hierarchical Deep Learning for Text Classification
越来越多的文本收集需要为搜索、检索、组织文本提供信息处理的方式。而处理文本信息的主要算法之一就是文本分类,它已经成为监督学习的一个重要应用。然而最近传统的文本分类算法随着文本数量的增加,模型性能反而降低了。那是因为随着文本的数量增加文本的类型也增加了。这篇文章的方法处理的问题与目前的文本分类任务不同,处理的是多标签文本分类问题。然而我使用了一种称为分层深度学习文本分类的方法(HDLText)用于分层文本分类。HDLText使用深度学习堆栈架构去专门理解文本的每一个层次的语义信息。原创 2023-03-31 17:08:07 · 1199 阅读 · 2 评论 -
【论文阅读13】Hybrid embedding-based text representation for hierarchical multi-label text classification
许多真实世界的文本分类任务通常处理大量以层次结构或分类法组织的密切相关的类别。当分层多标签文本分类(HMTC)需要处理大量密切相关的类别集时,它已经变得相当具有挑战性。整个层次结构中所有类别的结构特征及其类别标签的词语义非常有助于提高大群密切相关类别的文本分类精度,这在大多数现有的HMTC方法中都被忽略了。在本文中,我们提出了一种基于嵌入的混合文本表示HMTC。首先,混合嵌入包括层次结构中类别的图嵌入和类别标签的词嵌入。利用基于结构深度网络嵌入的图嵌入模型。原创 2023-03-29 16:20:20 · 244 阅读 · 1 评论 -
论文阅读【10】Label-Specific Document Representation for Multi-Label Text Classification
D=xiyii1Nxiyii1N表示文档的集合,它由N个文档组成,对应的标签为Y={yi∈01lyi∈01l},其中l表示总的标签数量.每个文档都包含一系列的单词。每个单词都可以被编码到一个低维空间,并通过word2vect技术表示为一个d维向量.xix_ixi={w1wpwnw1......wpwn}表示第i个文档,wp∈Rkw_p ∈ R^kwp∈Rk。原创 2023-02-16 17:06:21 · 463 阅读 · 3 评论 -
论文阅读【11】Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learn
在多标签文本分类(MLTC)中,每个给定的文档都与一组相关的标签相关联。为了捕获标签相关性,之前的分类器链和序列到序列模型将MLTC转换为序列预测任务。然而,它们往往存在标签顺序依赖性标签组合过拟合和误差传播等问题。为了解决这些问题,我们引入了一种新的多任务学习方法来增强标签相关反馈。我们首先利用联合机制来同时获得文本和标签表示.在MLTC任务中,采用文档-标签交叉注意(CA)机制来生成更具鉴别性的文档表示,此外,我们提出了两个辅助的标签共现预测任务成对标签共现预测(PLCP)原创 2023-02-27 13:59:45 · 477 阅读 · 0 评论 -
论文阅读【9】A Sentence Prediction Approach Incorporating Trial Logic Based on Abductive Learning
最后,我们得到了伪标签的修正标签。重点关注关键的情节元素,并考虑该案例的全局特征,我们通过参考自我注意的方法,将关键的情节元素与案例的一般特征相结合.这样,不仅要考虑全局特征,还要考虑关键案情要素.通过结合关键情节元素的信息和案例的一般特征,我们为文本的每个部分生成了一个注意力权重,并对文本信息进行了加权,这可以帮助我们更好地获取文本段落中与关键情节相关的信息.我们首先通过BERT对两个文本进行特征提取,得到了案例共同特征的向量D和案情元素的特征向量E,其中,D和E都是关于各自文本的全局信息。原创 2023-02-10 14:47:53 · 189 阅读 · 1 评论 -
论文阅读【8】Conditional Random Fields: An Introduction
这篇论文是介绍一个经典模型,条件随机场(CRF)。在很多领域中都存在序列标注任务,例如生物信息识别,计算机语言学和语音识别任务,其中自然语言处理中的词性标注任何和命名实体识别任务就是典型的序列标注任务。通常所用到的方法都是使用隐马尔科夫模型(HMMS)或者使用概率有限状态自动机( probabilistic finite-state automata)去做词性标注任务。HMMS是生成模型的一种形式,它定义了一个联合概率分布p(X,Y),其中X和Y分别是分布在观察序列及其相应的标签序列上的随机变量。原创 2022-11-25 10:16:03 · 487 阅读 · 1 评论 -
论文阅读【7】HHM隐马尔科夫模型
看到这一堆,是不是感觉脑袋都是大的,我确实也是的,看到最后脑袋也是变大了,最后 找到一个生动形象的例子:https://zhuanlan.zhihu.com/p/497045631我总结一下这个HMM算法就是用已知去推导位置,首先要搞清楚几个概念,观测值,隐藏值,还有维特比算法(动态规划算法)原创 2022-11-24 17:57:52 · 727 阅读 · 1 评论 -
论文阅读【6】RRN:LSTM论文阅读报告(2)
这里一共建立三层RNN第一层的输出作为第二层的输入,第二层的输出作为第三层的输入,第三层的输出则作为最终的输出。就类似于多层CNN一样,都可以多层计算,最后一层的最后一个输出是最能代表这这一段字符的语义的。人类阅读习惯总是喜欢从前往后阅读,阅读完一段电影评论之后,就能判断出这段电影评论所带有的情感色彩,但是这只是人类的一种阅读习惯而已,但是人类也可以从后往前阅读,这也许就是我们所说得“倒背如流”吧,因此双向RNN就此诞生了。两个RNN不共享参数不共享状态,两个RNN各自输出自己的状态向量,然后将两个状态原创 2022-11-22 10:51:44 · 364 阅读 · 1 评论 -
论文阅读【4】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
这篇是经典论文,是一个自然语言划时代的工作,工作相关就不介绍了,我是为了加深自己的印象,所以重温这篇论文。原创 2022-11-21 19:05:13 · 345 阅读 · 1 评论 -
论文阅读【5】Attention Is All You Need
后面再继续完善。原创 2022-11-21 19:04:28 · 494 阅读 · 1 评论 -
论文阅读【3】Efficient Estimation of Word Representations in Vector Space
后面有空再继续完善。原创 2022-11-21 19:03:21 · 538 阅读 · 1 评论 -
论文阅读【6】RRN:LSTM论文阅读报告(1)
lstm类似于Simple_RNN,但是又比他复杂很多.我是参考这个视频的老师讲解的,这个老师讲解的非常好.https://www.bilibili.com/video/BV1FP4y1Z7Fj?lstm的最重要的设计就是那一条传输带,即为向量Ct,过去的信息通过他传送给下一个时刻,就是依靠传送带避免梯度消失.原创 2022-11-21 19:01:46 · 618 阅读 · 1 评论 -
论文阅读【2】ESC: Redesigning WSD with Extractive Sense Comprehension
1.这篇的论文的写作方式值得我去借鉴学习,在概述部分介绍了他主要解决了什么问题,在引言部分介绍了他这个工作做出了什么贡献。2.在我们自己写论文的时候,如果自己所写的这个论文是之前没有人做过的,就可以说自己重新定了一个任务。翻译 2022-11-13 18:24:30 · 225 阅读 · 1 评论 -
论文阅读【1】:ConSeC: Word Sense Disambiguation as Continuous Sense Comprehension
把这篇论文的关键部分重头到尾看了一遍,说实话真的没有太懂他说了什么,看到最后才知道他的这篇论文是对别人的方法改进的,真的感觉有点坑人,现在就去把他改进的原始论文看一遍,否则只知尾不知其头。他改进的原文:https://aclanthology.org/2021.naacl-main.371/翻译 2022-11-09 18:44:41 · 196 阅读 · 0 评论