论文阅读：Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation

最新推荐文章于 2023-06-07 18:00:59 发布
最新推荐文章于 2023-06-07 18:00:59 发布
阅读量1k 收藏 3
点赞数
分类专栏： nlg_paper 文章标签： Fast Lexically 词法约束 DBA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36533552/article/details/106317720
版权

内容简介：

 

1.引言

词法约束机器翻译：

词约束又叫做引导解码，修改beam search 强迫输出必须包含指定的词或者短语。

虽然这个方法在理论上可行，但现有方法对于约束数量有线性（Hokamp和Liu，2017）或指数（Anderson等，2017）的计算复杂性。 这篇文章提出了一种用于词约束解码的算法，其约束数量为O（1）的复杂度。并在sockeye上有实现。

词法约束解码实质上是对beam search的修改，允许用户指定单词翻译。

 

两种算法：网格波束搜索（

最低0.47元/天 解锁文章
咕噜咕噜day
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
论文笔记：Beam Search Strategies for Neural Machine Translation
u014435314的专栏
04-15 1810
作者：Markus Freitag and Yaser Al-Onaizan单位：IBM T.J. Watson Research Center关键词：Beam search; Pruning strategies问题：束搜索算法跟踪k个状态，而不仅仅只跟踪一个。它从k个随机生成的状态开始，在每一步中都生成所有k个状态的所有后继者。如果这其中的任何一个后继者是目标，那么算法就会停止。否则，它将从完...
机器翻译 | Grid Beam Search 和 Dynamic Beam Allocation 和 Cube Pruning (网格束搜索和动态束分配和立体剪枝)
月夜长影
12-10 1562
介绍 本文介绍两篇文章的大致内容: Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search 提出了grid beam search (GBS) Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural M...
论文阅读：Negative Lexically Constrained Decoding for Paraphrase Generation
咕噜咕噜
05-27 442
简介： 转述生成可以看作是一种单语翻译，但是不像双语翻译，转述生成并不像机器翻译进行保守几乎重写所有词；本文作者提出首先识别源句子中需要转述的词，然后在decode时采用负面词约束方式避免输出这些词； 主要方法： 总的来说，为了改善转述生成的重写，首先需要识别给定句子中需要转述的词，接下来用预训练好的转述生成模型进行生成； 方法是在beam search中添加负面约束，使得beam search生成的句子不包括带有那些词的句子； ...
论文阅读 Training Neural Machine Translation To Apply Terminology Constraints
-
09-23 336
一. 该方法是在模型训练层面解决术语注入的问题。 二. 训练阶段主要是改变数据的处理方式： 1. 原始数据层面（增加注释，0无关，1源语术语，2目标语言术语） 2.bpe层面 将原始数据的注释推广到bpe切分后的token上，eg：如果Stellvertreter_2切分成了a、b,则a_2,b_2。 3.embedding层面 将注释向量和词向量进行拼接。 4. 术语覆盖度问题 为了保证没有包含术语的句子也能正确翻译，限制包含术语的句子在训练语料10%。 5. 术语匹配问题.
《Neural Machine Translation with Decoding-History Enhanced Attention》
wwx123521的博客
03-21 245
背景：普通的NMT没有考虑解码历史 思路：解码时候考虑了解码历史，在源端和目标端同时使用注意力机制，之前只使用源端注意力机制，得到的上下文向量只与encoder隐藏层状态相关。这篇论文在目标端也添加了一个注意力机制，计算了decoder的上下文向量，也就是当前时刻隐藏层状态和前一层隐藏层状态之间的联系。然后提出三种方法将这两个上下文向量结合在一起作为最终上下文向量，用于计算当前层当前时刻的隐藏层...
react_native疑难深坑.pdf
09-13
`SyntaxError: Strict mode does not allow function declarations in a lexically nested statement` - **问题描述**：在严格模式下，函数声明被放在了词法作用域嵌套语句中。 - **解决方案**： - 更改函数声明为...
lexicallyscoped.com
05-14
从网站名称来看，“lexically scoped”指的是JavaScript中的词法作用域，这是理解JavaScript变量和函数作用范围的关键概念。 在JavaScript中，词法作用域（也称为静态作用域）是根据代码的物理结构来确定作用域的...
JavaScript 匿名函数（anonymous function）与闭包（closure）
01-19
JavaScript 的作用域又是词法性质的（lexically scoped）。这意味着，函数运行在定义它的作用域中，而不是在调用它的作用域中。这是 JavaScript 的一大特色，将在后面说明。 把这两个因素结合在一起，就能
SVN忽略列表设置
09-21
在方括号内，一对字符被“-”分隔，匹配任何词汇表（lexically）上在他们中间的字符。 例如，我们可以将以下文件或目录添加到忽略列表中：velocity.log*、bin、target、.settings、.classpath、.project、*.o、*.lo...
机器学习翻译任务中的constrain decoding 实现流程方法详解
程序员阿浪
02-26 1973
机器学习翻译任务中的constrain decoding 实现流程前言一、(Vectorized) Lexically constrained decoding with dynamic beam allocation二、GENRE constrain decoding 前言 在翻译任务中（从一种格式的语言翻译到另一种格式的语言，并不局限于国家自然语言的互相转换，从自然语言翻译到程序代码也算一种，比如Text2SQL任务），通常会涉及到格式化语言的输出，这时候需要constrain decoding算法来避
论文阅读报告 Traffic-Based Dynamic Beam Coverage Adjustment in Satellite Mobile Communication
weixin_43116425的博客
03-12 314
引用：Qian C, Zhang S, Zhou W. Traffic-based dynamic beam coverage adjustment in satellite mobile communication[C]//2014 Sixth International Conference on Wireless Communications and Signal Processing (W...
【自然语言处理】【文本生成】Transformers中使用约束Beam Search指导文本生成
bqw的博客
09-27 3028
​ 不同于普通的，约束允许对文本生成的输出施加约束。这很有用，因为有时是确切知道在输出中需要什么。举例来说，在神经机器翻译中，可以知道哪些单词必须包含在最终的翻译中的。有时，由于特定的上下文，对于语言模型来说很有可能生成不满足用于期望的非结构。这两种情况都能够通过用户告诉模型输出结果中必须包含的单词来解决。
一些针对NLP深度学习的最佳实践技巧
weixin_41089007的博客
01-03 699
首先声明，这篇文章并不是要跟踪最新技术，而是要收集与广泛任务相关的最佳实践。换句话说，该文章不是描述一个特定的体系结构，而是旨在收集构成成功的体系结构的功能。尽管这些功能中的许多功能对于推动最新技术最有用，但我希望对它们的广泛了解将导致更强大的评估，与基准的更有意义的比较以及通过塑造我们对工作原理的直觉而获得启发。 词嵌入 词嵌入的最佳维数主要取决于任务：较小的维数对语法较多的任务（如命名实体...
在 Transformers 中使用约束波束搜索引导文本生成
最新发布
Hugging Face
06-07 1034
引言本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文 如何生成文本: 通过 Transformers 用不同的解码方法生成文本。与普通的波束搜索不同，约束 波束搜索允许我们控制所生成的文本。这很有用，因为有时我们确切地知道输出中需要包含什么。例如，在机器翻译任务中，我们可能通过查字典已经知道哪些词必须包含在最终的译文中; 而在某些特定的场合中，虽然某几个词对于语言模型而言差不...
论文阅读：A Large-Scale Chinese Short-Text Conversation Dataset（CDial-GPT）
咕噜咕噜
12-08 498
带约束解码论文list
koala_cola的博客
12-09 658
补充说明一下 beam search，生成模型的目标如下式，y{T}y^{\{T\}}y{T}代表在目标语言端所有词可以排列组合生成的句子。 y^=arg max⁡y∈{y{T}} pθ(y∣x) \displaystyle{\widehat{y}=\underset {y\in\{y^{\{T\}}\}}{\operatorname {arg\,max} }}\, p_\theta(y|x) y​=y∈{y{T}}argmax​pθ​(y∣x) 这个式子也可以用如下公式等价表达(条件概率的链式法则)： p
Niagara内容示例 2.2 Dynamic Beam
xcinkey的博客
05-21 867
粒子效果 从向着一个方向生成条带，条带沿着某个轴在旋转，类似于舞蹈演员表演的条带舞。 Niagara蓝图部分 蓝图中文字介绍少了很多…不过起码说清了一件事，就是Ribbon Renderer条带渲染器不支持GPU，只能在CPU粒子的情况下运行。从结构上来看，和之前的Static Beam也没有太大差别（实际上是有的，主要体现在Update Beam，后面会分析到），可见“动态”二字更多的是反映到了参数的获取和传递上。 效果实现分析 首先来看看Beam Emitter Setup。之前没有细看，遗漏了一个.
【AAAI 2021】全部接受论文列表（二）
yinizhilianlove的博客
01-14 5744
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
NLG简要调研(data2text+(Abstractive) Summarization)
咕噜咕噜
04-27 1425
NLG简介： 我们认为NLP = NLU + NLG，NLU-Neural Language Understanding指的自然语言理解，NLG-Neural Language Generation指的自然语言生成，两者是相辅相成的。具体NLG 可以按照输入输出分为两大类： 1.text – to – text：文本到语言的生成 2.data – to – text ：数据到语言...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值