夏栀的博客

论文解读：Graph Transformer for Graph-to-Sequence Learning  图神经网络在深度学习领域内得到十分广泛的应用，其可以对拓扑结构的数据进行表征。现阶段传统的以GNN及其相关变体在进行表征时普遍做法是将结点多跳范围内的邻居结点通过平均或加权等方式进行聚合，但这类方式存在一些不足之处，本篇文章提出的Graph Transformer模型主要解决含有关系以及在有限跳数范围内部分结点之间信息无法得到交互的问题，并应用到graph-to-sequence类问题上。一、简

论文解读：DTMT: A Novel Deep Transition Architecture for Neural Machine Translation  本文为一篇神经机器翻译的文章，发表在2019AAAI会议上，主要提出一种深度转移网络（Deep Transition），结合多头注意力解决循环神经网络中同一层不同时刻之间shallow的问题。一、简要信息序号属性值...

论文解读：Semantic Neural Machine Translation using AMR  机器翻译主要得益于语义表征能力，为了缓解数据的稀疏性，作者提出一种神经机器翻译方法，利用AMR（Abstract Meaning Representation）作为语义增强，结合LSTM进行端到端的学习。此模型较为简单，因此做简单介绍。一、相关背景  绝大多数的机器翻译工作中，通常使用RN...

论文解读：Selective Attention for Context-aware Neural Machine Translation  当前诸多的神经机器翻译工作着力于句子级别（sentence-level）的sequence2sequence，很少考虑到整个文档级别（document-level）的上下文信息，本文作者Sameen Maruf、Andre F. T. Martins和Gh...

论文解读：Multimodal Machine Translation with Embedding Prediction  机器翻译中有一个非常重要的问题即是对未知词（unknown word）和罕见词（rare word）的预测。有许多工作着重解决对于未知词和罕见词的翻译问题。对于未知词，其表示在翻译过程中在原始句子（source sentence）中发现一个在预训练词向量中不存在的词，一般...

论文解读：Sequence to Sequence Mixture Model for Diverse Machine Translation  机器翻译是自然语言处理中比较热门的研究任务，在深度学习背景下，通过神经网络搭建的机器翻译也称为当今主流方式。在解决机器翻译过程中需要解决诸多问题，例如原始句子的语义表征、句子对齐、集束搜索、未知词、漏译过译等。而对于这种序列到序列的任务中，通常有诸多策...

论文解读：On The Alignment Problem In Multi-Head Attention-Based Neural Machine Translation  机器翻译是自然语言处理的任务之一。基于transformer和multi-head attention在机器翻译中的应用十分广泛。注意力机制在神经机器翻译（NMT）模型中通常扮演着统计机器翻译（SMT）中的对齐机制（Ali...