![](https://img-blog.csdnimg.cn/20210130094629183.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
论文泛读
文章平均质量分 55
阅读论文方法
浪里摸鱼
欢迎光临(*`∀´*)ノ亻!
展开
-
【论文泛读】Deep Cross-Modal Projection Learning for Image-Text Matching
夸领域程序的一个关键任务是测量可视化数据和文本描述之间的相似性。现有方法:1.对共享潜在空间中的图像和文本进行联合嵌入学习[39,44,40,21]2. 要么构建相似性学习网络[16,15,22,11,40],计算图像和文本的匹配得分。结论:基于联合嵌入学习效率更高。联合嵌入学习框架一般采用双分支体系结构,一个分支提取图像特征,另一个分支提取文本特征,然后利用函数判别交叉模态嵌入。原创 2022-10-08 15:47:36 · 1081 阅读 · 0 评论 -
caj转换为pdf
首先用CAJViewer阅读器打开需要转换的CAJ文件后,使用快捷键Ctrl+P或点击工具栏左上角“文件”选项卡中的“打印”;打印之后会保存为pdf在你指定的位置。原创 2021-02-19 21:01:02 · 463 阅读 · 0 评论 -
【论文精读】transformer:Attention Is All You Need
摘要问题RNN 由于要考虑之前的所有信息,训练非常慢解决对策提出了一种新的简单的网络体系结构–Transformer,它完全基于注意力机制,完全不需要重复和卷积。创新点在两个机器翻译任务上的实验表明,这些模型在质量上更优越,同时更具并行性,所需的训练时间明显减少。在WMT2014英译德翻译任务中达到了28.4%的BLEU,比现有的最好成绩(包括合奏)提高了2%以上。在WMT2014英法翻译任务上,我们的模型在8个GPU上进行了3.5d的培训后,建立了一个新的单一模型最先进的BLEU得分原创 2021-04-11 19:43:28 · 281 阅读 · 1 评论 -
【论文精读】Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text
目录摘要问题解决对策创新点模型原理摘要问题阅读图像中的文字关键困难是稀有、多义和歧义的词(未登录的词)经常出现在图像中,例如地名、产品和运动队的名称。以前解决方法:预先训练的词嵌入模型思考方向:利用图像的多种形态中的信息来帮助理解场景文本的含义,例如瓶子上突出的文本最有可能是品牌。解决对策提出了一种新的 VQA 方法–多模态图神经网络(MM-GNN):首先将图像表示为由三个子图组成的图形,分别描述视觉、语义和数字模态。然后,引入三个聚合器,引导消息从一个图传递到另一个图,以利用不同模态的上下文原创 2021-04-08 19:14:21 · 653 阅读 · 0 评论 -
【论文泛读】Multimodal Joint Attribute Prediction and Value Extraction for E-commerce Product
摘要 本文提出了一种多模态方法来联合预测产品属性,并借助产品图像从文本产品描述中提取值。我们认为产品属性和价值是高度相关的。在给定产品属性的情况下,提取值会更容易。因此,我们从多个方面联合建模属性预测和值提取任务,以实现属性和值之间的交互。此外,对于不同的产品属性和价值观,产品形象对我们的任务有不同的影响。因此,我们有选择地从产品图像中提取有用的视觉信息来增强我们的模型。我们注释了一个包含87194个实例的多模态产品属性值数据集,该数据集上的实验结果表明,显式建模属性和值之间的关系有助于我们的方法建立原创 2021-10-09 20:28:25 · 305 阅读 · 0 评论 -
【论文泛读】Multimodal Attribute Extraction
介绍由于web上有大量非结构化和半结构化数据,因此迫切需要能够快速高效地访问其中的知识内容。传统上,信息提取领域的重点是从非结构化文本文档(如职位公告、科学论文、新闻文章和电子邮件)中提取此类知识。然而,web上的内容越来越多地包含更多不同类型的数据,包括半结构化网页、不遵循任何模式的表格、照片、视频和音频。对于用户的查询,适当的信息可能以这些不同的模式中的任何一种出现,因此迫切需要从不同类型的数据中构建知识库的方法,更重要的是,结合证据以提取正确的答案。基于这个目标,我们介绍了多模态属性提取的任务。以原创 2021-10-09 10:10:13 · 399 阅读 · 0 评论 -
【论文泛读】Multimodal Neural Graph Memory Networks for Visual Question Answering
理解GloVe模型(Global vectors for word representation)门控循环单元(GRU)的基本概念与原理原创 2021-06-04 20:24:07 · 255 阅读 · 0 评论 -
【论文泛读】How Can We Accelerate Progress Towards Human-like Linguistic Generalization?
评价指标添加链接描述添加链接描述添加链接描述获奖理由:让我们深思使用pipeline预训练的流程搭建和评估NLP模型的适当性提议:让我们重新思考我们当前的范式和评估性能关于样本效率、可解释性和规范性评价论文摘要:本文描述并批判了预训练前不可知的同分布(PAID)评估范式,它已成为衡量自然语言理解进步的一个核心工具。该范式包括三个阶段:(1)在任意大小的语料库上预训练单词预测模型;(2)对表示分类任务的训练集进行微调(迁移学习);(3)对与训练集相同分布的测试集进行评估。这种范式倾向于原创 2021-03-28 10:55:41 · 88 阅读 · 1 评论 -
【论文泛读】Evidence-Aware Inferential Text Generation with Vector Quantised Variational AutoEncoder
基于矢量量化变分自动编码器的证据感知推理文本生成摘要从不同的角度生成关于事件的推理文本需要对事件发生的不同上下文进行推理。现有的作品通常忽略了没有明确提供的上下文,导致了难以支持生成的上下文无关的语义表示。为了解决这一问题,我们提出了一种方法,该方法自动从大型文本语料库中找到事件的证据,并利用这些证据来指导推理文本的生成。我们的方法以编解码器的方式工作,并配备了矢量量化-变分自动编码器,其中编码器从离散变量上的分布输出表示。这样的离散表示能够自动选择相关证据,这不仅促进了证据感知的生成,而且提供了一种自原创 2021-03-31 19:39:27 · 246 阅读 · 1 评论 -
【论文泛读】Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction
基于词级抽取的无监督句子摘要的离散优化摘要自动句子摘要生成句子的较短版本,同时保留其最重要的信息。一个好的摘要的特点是语言流畅,与原句的信息重叠度高。我们在一个无监督的目标函数中对这两个方面进行建模,包括语言建模和语义相似性度量。我们通过离散优化来寻找高分的摘要。本文提出的方法实现了基于Rouge评分的无监督句子摘要的新发展。此外,我们还证明了通常报道的Rouge F1度量对摘要长度很敏感。由于这在最近的工作中被不情愿地利用了,我们强调,未来的评估应该明确地按照输出长度括号对摘要系统进行分组。简介原创 2021-03-31 19:15:35 · 187 阅读 · 2 评论 -
【论文泛读】《A Graph Similarity for Deep Learning》
题目期刊名/文献类型作者年份解决问题解决对策创新点论文不足下一步工作技术难点一、摘要图神经网络(GNNs)已经成功地从图中学习表示。许多流行的gnn遵循聚合-转换的模式:它们聚合邻居的属性,然后用一个可学习的函数转换聚合的结果。对这些 gnn 的分析解释了哪些非同图对具有不同的表示。然而,解决问题我们仍然缺乏对这些表述有多相似的理解。解决对策我们采用核距离,并提出transform-sum-cat作为聚合变换的替代方案,在邻域聚合中反映节...原创 2021-03-24 20:25:55 · 453 阅读 · 2 评论 -
【论文泛读】Cross-modal Language Generation using Pivot Stabilization for Web-scale Language Coverage
将生成字幕和机器翻译结合,提出PLuGS模型,运行时生成英文字幕加上x语言字幕摘要通过 data-hungry 模型的趋势与缺乏非英语注释的趋势相结合的跨英语语言,诸如图像描述等跨模态语言生成任务的能力直接受到支持。我们调查潜在的解决方案,以便将现有语言生成注释与翻译功能组合起来,在域和语言覆盖范围内以Web级创建解决方案。我们描述了一种称为Pivot-Language Generation Stabilization (PLuGS)的方法,在训练时直接利用现有的英语字幕(黄金数据)及其机器翻译的版本原创 2021-03-30 18:29:05 · 201 阅读 · 1 评论 -
【论文泛读】Simple and Effective Retrieve-Edit-Rerank Text Generation
简单有效的检索-编辑-重排文本生成摘要检索和编辑 seq2seq 方法通常从训练集中检索输出,并学习模型以对其进行编辑以产生最终输出。问题我们建议用一种简单有效的后代排序方法来扩展这一框架。解决对策我们的框架(I)为每个输入检索几个潜在相关的输出,(Ii)独立地编辑每个候选,以及(Iii)对编辑后的候选进行重新排序以选择最终输出。我们使用标准的编辑模型和简单的特定于任务的重新排序方法,我们的经验表明,这种方法比现有的、复杂得多的方法要好得多。创新点在两个机器翻译(MT)数据集上的实验显示了新原创 2021-04-01 20:08:52 · 227 阅读 · 1 评论 -
论文学习中好的博文收集
一文看懂NLP里的分词(中英文区别+3 大难点+3 种典型方法)ACL 2020论文分享 | 基于对话图谱的开放域多轮对话策略学习基于知识图谱的推荐系统(KGRS)综述从ReLU到GELU,一文概览神经网络的激活函数...原创 2021-03-29 09:28:34 · 68 阅读 · 1 评论 -
【论文泛读】BLEURT: Learning Robust Metrics for Text Generation
bleurt:学习文本生成的强大指标摘要文本在过去几年中取得了重大进展。然而评估指标落后,作为最受欢迎的选择(例如,Bleu 和 Rouge)可能与人类判断不一样。我们提出了基于 BERT 的学习评估度量的 BLEurt,可以通过几千个可能有偏见的训练示例来模拟人类判断。我们方法的一个关键方面是一种新的预训练方案,用于使用数百万的合成例来帮助模型概括。 Bleurt 在 WMT 指标共享任务和 Webnlg 竞赛数据集的最后三年提供最先进的结果。与 Vanilla Bert 的方法相比,即使训练数据稀缺原创 2021-03-29 19:06:16 · 704 阅读 · 1 评论 -
【论文泛读】Bridging the Structural Gap Between Encoding and Decoding for Data-To-Text Generation
摘要从图形结构的数据(例如,知识图谱)生成顺序自然语言描述是具有挑战性的,部分原因是输入图形和输出文本之间的结构差异。因此需要使用sequence-to-sequence 模型,但是这不适合这项工作。另一方面,虽然图神经网络可以更好地编码输入图,但是拓宽编码器和解码器之间的结构间隙,使得忠诚产生困难。为了缩小这个差距,我们提出了Dualenc,它不仅可以包含图形结构的双编码模型,还可以迎合输出文本的线性结构。和单编码比,双编码可以显着提高所生成文本的质量。名词解释sequence-to-sequenc原创 2021-03-30 10:57:37 · 261 阅读 · 1 评论 -
鲁棒性和稳定性的区别
鲁棒性: 一个具体的控制器 ,如果对一个模型族中的 每个对象 都能保证反馈系统内稳定,那么就称其为鲁棒稳定的。稳定性: 指的是系统在某个稳定状态下受到较小的 扰动后 仍能回到原状态或另一个稳定状态。...原创 2021-03-31 10:27:49 · 3859 阅读 · 1 评论 -
【论文泛读】Few-Shot NLG with Pre-Trained Language Model
摘要问题基于神经网络的自然语言生成(NLG)对数据量的需求特别大,因此在数据有限的情况下很难在实际应用中采用。解决对策在这项工作中作者提出了few-shot的自然语言生成方法:模型体系结构的设计基于两个方面:从输入数据中选择内容和通过语言建模来构造连贯的句子,这些句子可以从先验知识中获取。通过200个跨多个领域的训练实例,在最强的 baseline 平均提高了8.0%以上的BLEU点。...原创 2021-04-01 13:01:47 · 400 阅读 · 0 评论 -
【论文泛读】Improved Natural Language Generation via Loss Truncation
## 摘要**问题****解决对策****创新点**原创 2021-03-31 20:33:41 · 216 阅读 · 1 评论 -
【论文泛读】8. 文本分类:Convolutional Neural Networks for Sentence Classification
更新进度:■■■■■■■□□□□□□□□□□□□□□□□|30%理论上一周更一个经典论文刚刚开始学习,写的不好,有错误麻烦大家留言给我啦目录文本表示:文本分类方法:基于规则的文本分类基于特征的文本分类方法基于卷积神经网络的文本分类文本表示:词袋子:one_hot 不考虑文本的序列信息,就像将信息放进了一个袋子里。有多少词就需要有多少维度,数据处理的压力会比较大词嵌入:Word2Vec(2013年Efficient Estimation of Word Representations in .原创 2021-03-06 16:28:10 · 405 阅读 · 0 评论 -
Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics
重新评估自动机器翻译评估度量的评估解决问题当前的指标评估方法对用于评估的翻译系统非常敏感,尤其是存在异常值时,这通常会导致对评价效果产生错误的自信判断。解决对策本文研究了成对系统排名方法,开发了一种在自动度量标准下以人为判断为阈值提高性能的方法,该方法可以量化所引起的I型错误与II型错误,即可以接受的人类评判质量差异,以及不能接受的人类评判差异。总之,这些发现对机器翻译中的度量评估和系统性能评估的协议进行了改进。...原创 2021-03-28 10:19:03 · 184 阅读 · 1 评论 -
【论文泛读】Neural Data-to-Text Generation via Jointly Learning the Segmentation and Correspondence
摘要神经注意力机制模型(neural attention model)在数据生到文本任务上已经几乎可以生成通顺的句子问题会面临信息损失、重复和不真实的问题。由于神经网络的黑盒特性,从根本上规避这些问题非常困难。解决对策提出显式地把文本分成几个片段,每个片段对应数据(data)的某个域(field)。分段和对应关系不需要事先标注,可以通过线性规划自动地在训练过程中学习出来。同时我们使用后验正则化方法(posterior regularization)去有效控制分段的粒度。创新点在 E2E 和原创 2021-04-01 10:16:35 · 241 阅读 · 1 评论 -
【论文泛读】Towards Faithful Neural Table-to-Text Generation with Content-Matching Constraints
使用内容匹配约束实现基于神经表的文本生成摘要从知识库生成文本的目的是将知识三元组转换为自然语言描述问题现有的大多数方法忽略了生成的文本描述和原始表之间的忠实性,导致生成的信息超出了表的内容。解决对策提出基于变压器的生成框架来实现忠实性这一目标核心技术包括一个表-文本最优传输匹配损失和一个基于变压器模型的表-文本嵌入相似度损失为了评估忠实度,提出了一种新的自动度量方法,专门用于基于表的生成问题。参考文献腾讯入选20篇文章 第八篇《使用内容匹配约束实现准确的数据到文本生成》阅读笔记原创 2021-04-01 10:40:30 · 356 阅读 · 1 评论 -
【论文泛读】Profiling Discourse Structure in News Articles around the Main Event
在主赛事周围的新闻文章中的分析话语结构摘要了解新闻文章的话语结构对于有效地体现新闻事件的发生至关重要。为了实现新闻结构的计算建模,我们将现有的功能话语结构理论用于围绕主赛事的新闻文章,并在四个域和三个媒体来源中创建802个文件的人为注释语料库。接下来,我们提出了几种document level 神经网络模型来自动构建新闻内容结构。最后,我们展示了包含系统预测的新闻结构的结合产生了新的最终的性能,以便进行事件练芯分辨率。我们注释的新闻文件公开可用,注释公开发布以供未来的研究。...原创 2021-03-31 15:53:26 · 206 阅读 · 2 评论 -
【论文泛读】An Unsupervised Information-Theoretic Perceptual Quality Metric
解决问题监督成本太高解决对策将信息理论目标函数的最新进展与由人类视觉系统生理学和对视频帧的无监督训练提供的计算架构相结合,得出感知信息度量(PIM)。创新点:PIM在最近的和具有挑战性的BAPPS图像质量评估数据集上与监督度量具有竞争力,并且在预测CLIC 2020中图像压缩方法的排名方面优于它们我们还使用ImageNet-C数据集进行定性实验,并确定PIM在架构细节方面是稳健的。手工设计的模型,如MS-SSIM,由于其简单和快速,仍然是流行的人类图像质量判断的预测器。...原创 2021-03-25 20:52:07 · 197 阅读 · 1 评论 -
【论文泛读】Automatic Poetry Generation from Prosaic Text
摘要:在过去的几年里,已经出现了许多成功的方法,能够充分模仿自然语言的各个方面。特别地,基于神经网络的语言模型在预测语言建模方面提高了现有技术,而主题模型在捕获清晰的语义尺寸时成功。在本文中,我们探讨了这些方法如何调整和组合以模拟诗歌生成所需的语言和文学方面。该系统专门接受标准,非诗意文本培训,其输出受到约束,以便将诗意的特征赋予所生成的诗歌。该框架适用于英语和法语的诗歌,并同样对两种语言进行评估。尽管它只使用标准的非诗意文本作为输入,但系统也会产生诗歌的最新结果。...原创 2021-03-29 11:12:29 · 216 阅读 · 1 评论 -
【论文泛读】Beyond Accuracy:Behavioral Testing of NLP Models with Checklist
视频是多模式监管的丰富资源。在这项工作中,我们通过利用视频中自然存在的三种模式来学习使用自我监督的表示形式:视觉,音频和语言流。为此,我们介绍了多模式通用网络的概念-一种可以吸收多种模式的网络,其表示形式可以实现多种模式的下游任务。特别是,我们探索了如何最好地组合这些模式,以便可以保留视觉和音频模式的细粒度表示,同时还可以将文本集成到通用嵌入中。在多功能性的驱使下,我们还介绍了一种新颖的通缩过程,以便可以轻松地将网络以视频或静态图像的形式应用于可视数据。我们演示了如何将经过大量未标记视频数据训练的此类网络应原创 2021-03-26 15:26:31 · 389 阅读 · 1 评论 -
NLP 2020顶会论文汇总,今天你读了吗?
疯狂泛读中目前在更新:ACL 2020 文本生成方向今日更新进度:■■■■■■□□□□□□□□□□□□□□|30%原创 2021-03-20 17:56:11 · 2031 阅读 · 2 评论 -
【论文泛读】A Study of Non-autoregressive Model for Sequence Generation
问题为什么 知识蒸馏 和 源目标对准 可以弥补在诸如神经计算机翻译(NMT),自动语音识别(ASR)以及语音文字(TTS)等任务中的 AR 和 NAR 准确率的差距(AR 准确率大于NAR 准确率),但是其他任务中不行?解决对策AR 和 NAR 模型之间的主要区别是 NAR 模型不使用目标标记之间的依赖性,知识蒸馏减少了在目标序列中目标标记的依赖性,所以提高了 NAR 模型的准确性。源目标对齐约束鼓励在资源获取中依赖目标标记,因此减轻了 NAR 模型的训练。提出了一个名为 CoMMA 的分析模型,量化原创 2021-03-29 10:25:48 · 323 阅读 · 1 评论 -
【论文泛读】Improving Adversarial Text Generation by Modeling the Distant Future
## 摘要**问题****解决对策**原创 2021-04-01 08:57:14 · 169 阅读 · 1 评论 -
【论文泛读】Logical Natural Language Generation from Open-Domain Tables
摘要问题解决对策实验结果原创 2021-04-01 09:51:22 · 306 阅读 · 1 评论 -
trans什么意思?
今天在知乎看到了一位大佬说到trans不太明白什么意思就查了一下trans 的全词是 TransactionsIEEE的很多Transactions,例如IEEE Transactions on Industrial Electronics,IEEE Transactions on Power Electronics等都可以叫trans...原创 2021-04-03 09:05:49 · 3769 阅读 · 1 评论 -
【论文泛读】4. 机器翻译:Neural Machine Translation by Jointly Learning to Align and Translate
更新进度:■■■■■■■■■■■■■■■■■■■■■■■|100%原创 2021-02-21 17:11:24 · 437 阅读 · 1 评论 -
【论文泛读】Automatic Generation of Citation Texts in Scholarly Papers A Pilot Study
摘要:在本文中,我们研究了学术论文中自动生成引用文本的挑战性问题。鉴于引用论文A和引用的论文B的背景,任务旨在在给定A的背景下生成简短的文本来描述B。解决这项任务的一个大挑战是缺乏训练数据。显式引用文本很容易提取,但从学术论文中提取隐式引用文本并不容易。首先训练一个基于 BERT 的隐式引用文本提取模型,利用模型来构建引用文本生成任务的大型训练数据集。我们提出并训练了一个 multi-source pointer-generator 网络,并引用文本生成的跨关注机制。在手动标记的测试数据集上的原创 2021-03-29 11:02:42 · 236 阅读 · 1 评论 -
【论文泛读】A Generative Model for Joint Natural Language Understanding and Generation
论文翻译摘要:自然语言理解 和 自然语言生成 是构建任务型对话系统的两个基础而相关的工作,但两者处理的过程相反。NLU将自然语言转化为形式化的表达,而NLG则做相反的转换。在这两项任务上,成功的关键都是平行的训练数据,但要获得大规模的数据的成本相当昂贵。提出了使用共享的隐变量将 NLU 和 NLG 融合起来的生成模型。探索自然语言以及形式化表达的空间,并通过隐空间增强信息共享并最终优化 NLU 和 NLG。模型使用平面以及树结构的表示在两个对话数据集上取得了 SOTA 。作者还表明,能够通过半原创 2021-03-29 09:48:45 · 285 阅读 · 1 评论 -
【论文泛读】GPT-too: A language-model-first approach for AMR-to-text generation
摘要抽象意义表征(AMR)是复盖广泛的句子级语义图。问题现有的从 AMR 生成文本的方法集中于仅在 AMR 标注的数据上训练序列到序列或图形到序列的模型。解决对策提出了一种将强大的预训练语言模型与基于循环一致性的重新评分相结合的方法。创新点这些模型在英文 LDC2017T10 数据集上的性能优于所有以前的技术,包括最近使用的变压器架构。除了标准的评估指标之外,我们还提供了人工评估实验,进一步证明了我们方法的有效性。...原创 2021-04-01 19:24:39 · 259 阅读 · 2 评论 -
【论文泛读】Clue: Cross-modal Coherence Modeling for Caption Generation
参考文章【论文分享】ACL 2020 多模态相关任务分享原创 2021-03-30 19:56:45 · 278 阅读 · 1 评论 -
【论文泛读】Don‘t Stop Pretraining: Adapt Language Models to Domains and Tasks
背景(nlp中语言模型的“预训练(pretraining)”)==解决问题====解决对策====未来的研究方向==原创 2021-03-27 10:04:39 · 458 阅读 · 1 评论 -
【论文泛读】Multi-modal Sarcasm Detection and Humor Classification in Code-mixed Conversations
【论文泛读】Multi-modal Sarcasm Detection and Humor Classification in Code-mixed Conversations原创 2021-11-16 19:38:48 · 1059 阅读 · 0 评论 -
【论文泛读】Sentiment Analysis of Online Reviews with a Hierarchical Attention Network
【论文泛读】Sentiment Analysis of Online Reviews with a Hierarchical Attention Network原创 2021-11-16 11:53:52 · 1831 阅读 · 0 评论