qq_42890800的博客

文章目录试图解决的问题方法介绍BaselineEncoderDecoder试图解决的问题语法可以用于加强神经机器翻译的性能，比如2017年的工作集成了语法树到Seq2Seq神经机器翻译模型中。但是由于不同语法树的不均匀性，增加了批运算的困难，进而导致速度降低，即使专门设计了批算法，效果还是不尽如人意。Tree-Linearization方法试图解决这个问题，主要的思想是把语法树线性化成序列符号，然后利用结果序列作为NMT的输入。这篇文章也是来解决这个问题的，在使用语法信息的同时，保证模型的效率。作者提

文章目录解决问题工作Transformer models人工合成数据解决问题基于从拼写检查器提取出的困惑集，无监督地生成人工错误数据集，来解决数据缺少的问题。工作Transformer models使用Transformer模型，做一些小的修改（大量正则化防止过拟合、指数平滑、提高每个batch的size、整个模型的参数都被与悬链）人工合成数据使用拼写检查器来生成困惑集（困惑集就是经常相互混淆的单词集），生成困惑集时利用了编辑距离和语音距离的加权平均值。生成步骤为：对每个句子，采样均值0

文章目录数据集介绍数据集介绍BEA-2019是剑桥大学发布的新的GEC领域的benchmark，与CONLL-2014不同的是，它包含了很多等级的英语能力，因此更具有一般性。

文章目录解决的问题这篇论文的思想Token-level transformationsTagging model architectureIterative sequence tagging approach实验训练Encoders from pretrained transformersTweaking the inferenceSpeed comparisons结论解决的问题NMT-based GEC系统有如下几个问题妨碍了部署：缓慢的推理速度需要大量的训练数据可解释性在这篇论文中，通过

文章目录BERTModel ArchitectureInput/Output RepresentationsPre-training BERTTask #1: Masked Language Model (MLM)Task # 2: Next Sentence Prediction (NSP)BERTModel Architecturea multi-layer bidirectional Transformer encoder.Input/Output Representationsinput