Vocabulary Learning via Optimal Transport for Neural Machine Translation论文解读

最新推荐文章于 2024-06-11 09:31:25 发布
最新推荐文章于 2024-06-11 09:31:25 发布
阅读量1.8k 收藏 9
点赞数 2
分类专栏： nlp_paper nlp学习 nlp 文章标签： 词表选择 机器翻译
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16949707/article/details/118694959
版权
nlp 同时被 3 个专栏收录
97 篇文章 3 订阅
订阅专栏
nlp_paper
75 篇文章 7 订阅
订阅专栏
nlp学习
61 篇文章 2 订阅
订阅专栏

在这里插入图片描述

abstract

token vocabulary的选择对机器翻译结果的影响比较大
本文研究什么样才是好的词表，并且能不能不通过训练直接找到最优的词表
首先提供一种从信息理论的角度来分析词表的作用
通过optimal transport的思路来找到最佳token词典，并且有一个合适的词表大小，不用训练
降低70%的词表大小，取得0.5bleu提升
相对于BPE-search，搜索时间从384gpu->30gpu，这个的意思有些没看懂，是指vocabularies的时间。
背景：
当所有样本等几率出现的情况下，熵达到最大值（所有可能的事件等概率时不确定性最高）
对于样本等几率分布而言，样本数越大，熵值越大（可能的事件越多，不确定性越高）

1. intoduction

  1. 用更小的词表来压缩数据，减少熵，可以使语料更容易训练和预测，降低过拟合的风险。
  2. byte-pair encoding BPE：就是选择最高频的sub-words或者sub-word pieces来做的。
  3. 因为词表大小也会影响下游任务的表现，如何选择合适的大小呢，只考虑频率也是不妥的，通过实验来做，需要一个一个来做，比较繁琐，导致大家现在都是只选择30k-40k左右。
  4. 一般来说减低熵和词表大小是矛盾的，词表越大，熵约大。
  5. 根据语料的熵和词表大小，选择合适的词表，并且可以再polynomial时间内解决。
  6. muv作为评价指标，muv=熵在词表大小上的微分=diff(熵)/m，m为词表大小的diff。
  7. muv和下游任务的表现基本上是正相关的，所以优化muv就是优化下游任务了?所以可以直接算出muv最大值，拿到最佳词表大小，就可以拿到一个比较好的下游表现了?
  8. 通过找到最大的muv来找到词表，并且将其转化成optimal transport problem来做，相当于是从字符的分布到词表的分布中找到最佳转移矩阵optimal transport matrix，最终是通过这个矩阵来产生词表。
    在这里插入图片描述

2. related work

  1. 字级别的词典有大小限制，会遇到oov
  2. 有基于char的，BPE等优化方法，拿到subword-level级别的词表，例如happy可能和happier比较相似，在char-lvel，并且在小的粒度上就没有oov了，还有sentencepiece方法等
  3. 一般大家只注意到频率，没有注意到词表大小，并且确定词表是一个很耗资源的工作

3. MUV是啥

  1. muv定义了增加词表大小带来的收益。
  2. 通过实验证明了muv和bleu的关系，验证了用muv来衡量的正确性。

在这里插入图片描述

4 Maximizing MUV via Optimal Transport

4.1 idea
  1. 词表是离散的，找最佳muv的搜索空间太大。
  2. 简化：从固定大小的词表中找到最佳muv，固定的步长还是固定的大小？
    S：递增整数数列
    t：timestep，代表diff t
    总结：
    固定t，找到最佳muv（找到最大熵的词表）
    枚举所有t
    在这里插入图片描述
  • 词表到转移矩阵
    在这里插入图片描述

不同的转移矩阵有不同的转移cost，目标是找到最小的cost，例如负的熵等。

4.2 optimal transport solution

  • 给定词表，要找到最大熵，公式可转化为：
    在这里插入图片描述

  • 合并，减少token太大带来的计算量问题

  • 计算转移矩阵的每一行的和和每一列的和干啥？

  • 非平衡交叉熵的正则最优化转移问题?

  • 可以用Sinkhorn算法解决，每个时间t，产生一个新的词表，根据转移矩阵p计算交叉熵分数，根据熵挑选词表，输出词表。

4.3 implementation

  1. 根据频率将所有token排序，用的是BPE方法生成的token，例如利用BPE-100K作为候选，其他的也可以，基本可以带来类似的结果。
  2. 用他们的概率初始化L
  3. 每个timestep，根据当前的词表及其转移矩阵计算最大的熵。
  4. 枚举t，选择合适的词表。
  5. 有词表后，使用贪心算法去对句子进行编码。
    • 将句子分裂到char粒度的token
    • 和并consecutive tokens到一个，如果他在词表中
    • oov token会被分到更细的粒度

在这里插入图片描述

5. experience

  1. 就用VOLT来选词表，效果居然就好了
    在这里插入图片描述

  2. 对于低资源的数据集，BPE-1k通过很多实验拿到词表，VOLT通过一次实验，0.5CPU hours，30GPU hours就找到了最优的词表。
    在这里插入图片描述

  3. VOLT是一个绿色的词表化解决方案，通过比较BPE-search：一种从BPE生成的词表中，根据BLEU分数选择最优词表的方法，来证明，VOLT在一个cpu花费少量时间就能算出来0.5h，BPE-search在需要在GPU上花费上百小时。
    在这里插入图片描述

5.3 讨论
  1. VOLT生成的词表能达到SOTA结果。
  2. 领先sentencePiece和wordPiece方法非常多，这两个是分到细粒度词的一种分词方法。
  3. 各种架构都适应，transformer-big结构，seq2seq结构都适应。
  4. VOLT能在训练阶段带来加速，主要因为降低embedding参数的大小，对于softmax计算，因为在gpu中已经并行计算了，提升不大。
  5. VOLT和BPE词表高度重叠，相当于直接可以拿到BPE的结果?

6. 结论

不用训练，直接可能产生词表搜索的方法，利用信息论理论，通过两步优化，离散化目标函数和最优化转移方案来实现。实验表明效果非常有效。

  1. 构造目标函数
  2. optimal transport solution解目标函数极值的方法。
HxShine
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
神经网络机器翻译Neural Machine Translation(3): Achieving Open Vocabulary Neural MT
Clear.的博客
04-09 5274
端到端的神经网络机器翻译（End-to-End Neural Machine Translation）是近几年兴起的一种全新的机器翻译方法。前面介绍了NMT的基本RNN Encoder-Decoder结构以及Attention Mechanism。但是经典的Encoder-Decoder结构存在一个明显的问题，就是源端与目标端都使用固定大小的词典，OOV词通常用一个UNK表示，如果目标端词典太大则会
VocabularyLearningviaOptimalTransportforNeuralMachineTranslation
09-14
2021年NLP最佳论文
Vocabulary Learning via Optimal Transport for Neural Machine Translation翻译
nopSled
07-23 704
摘要 字符词汇的选择会影响机器翻译的性能。本文旨在弄清楚什么是好的词汇，以及是否可以在没有尝试训练的情况下找到最佳词汇。为了回答这些问题，我们首先从信息论的角度提供对词汇作用的另一种理解。受此启发，我们将词汇的探索（即找到具有适当大小的最佳字符字典）作为最优传输 (OT) 问题。我们提出了 VOLT，这是一种无需尝试训练的简单高效的解决方案。实验结果表明，VOLT 在不同场景中的表现优于广泛使用的词汇化方法，包括 WMT-14 英德和 TED 多语种翻译。例如，VOLT 在英德翻译中实现了近 70% 的词汇
探索高效能的神经最优传输（Neural Optimal Transport, NOT）
最新发布
gitblog_00022的博客
06-11 338
探索高效能的神经最优传输（Neural Optimal Transport, NOT） 项目地址:https://gitcode.com/iamalexkorotin/NeuralOptimalTransport 在这个数字化的时代，数据无处不在，从简单的1D和2D分布到复杂的图像和高维数据集，我们都在寻找理解和转换它们的有效方法。这就是**Neural Optimal Transport (NO...
ACL2021最佳论文VOLT：通过最优转移进行词表学习
Kaiyuan_sjtu的博客
07-26 497
作者|太子长琴整理|NewBeeNLP今天一起来看看热议的ACL2021 best paper，一句话概述：借鉴边际效用通过最优转移学习词表。论文：Vocabulary Lear...
深度模型（十一）：On Using Very Large Target Vocabulary for Neural Machine Translation
Jony0917的专栏
11-10 883
摘要 近来提出的完全基于神经网络的神经机器翻译，相比于传统方法比如基于短语的统计机器翻译，取得了令人满意的成绩。但是在神经机器翻译对词表的大小有限制，随着词表的增大，训练的复杂度以及解码的复杂度都会相应增大。本文提出了一种基于重要性采样的方法，可以在不加大训练复杂度的情况下，使用非常大的目标词表。通过选择目标词表的一个较小的子集，较大目标词表的解码的效率也可以有效的提高。通过这种方法训练的模型，追...
Machine.Learning.Projects.for.NET.Developers.1430267674
07-16
Machine Learning Projects for .NET Developers shows you how to build smarter .NET applications that learn from data, using simple algorithms and techniques that can be applied to a wide range of real-...
Descriptor Learning for Efficient Retrieval
05-11
Many visual search and matching systems represent images using sparse sets of “visual words”: descriptors that have been quantized by assignment to the best-matching symbol in a discrete vocabulary....
Vocabulary Learning Tool-开源
06-03
jVLT（词汇学习工具）是一种帮助您管理词汇的工具。 它允许您创建单词词典并进行测验。
ACL2021最佳论文出炉，来自字节跳动
算法码上来
07-05 2647
❤️点击上方，选择星标或置顶，每天给你送上干货❤️ACL2021的最佳论文在今天公布了，是来自字节跳动人工智能实验室的「Vocabulary Learning via Optimal Tr...
加权transformer
11-15
机器翻译论文 WEIGHTED TRANSFORMER NETWORKFOR MACHINE TRANSLATION
曾被ICLR拒稿，字节跳动今斩获最佳论文，ACL 2021各大奖项揭晓
深度学习技术前沿
07-07 729
来源：机器之心被顶会拒稿请不要灰心，说不定你的论文会成为另一个顶会的最佳。NLP 领域国际顶会 ACL 2021 公布获奖论文信息：来自字节跳动火山翻译的一篇神经机器翻译工作被评为最佳论文...
清华NLP组年度巨献：机器翻译30年最重要论文阅读清单（下）
qq_27009517的博客
01-20 5050
近日，清华大学NLP组总结了最近30年来机器翻译领域最重要的论文和学术文献目录，并在Github上公开放出。 此列表首先给出了30年来机器翻译领域必读的10篇最重要的论文，接下来的内容分为统计机器翻译和神经机器翻译两大部分。由于近年来取得重大突破几乎全在神经机器翻译领域，这份论文目录更为侧重神经机器翻译部分。 每篇论文资源均按作者、题目、发表年份、发表会议/期刊的顺序给出。 新智元在此将清单...
ICLR 2021投稿中值得一读的NLP相关论文
Paper weekly
11-09 2663
我们从ICLR 2021开放投稿的3000篇论文中，粗略筛选了近100篇与自然语言处理领域中也许值得一读的论文，供大家查阅。理论、模型与经验性分析：38篇问答与阅读理解：4篇知识图谱：...
【序列到序列学习】带外部记忆机制的神经机器翻译
PaddlePaddle
03-15 949
导语PaddlePaddle提供了丰富的运算单元，帮助大家以模块化的方式构建起千变万化的深度学习模型来解决不同的应用问题。这里，我们针对常见的机器学习任务，提供了不同的神...
分词算法介绍——千里之行，始于足下
即事多所欣 的博客
11-16 2293
NLP 领域常用的 tokenization 算法
OOV问题-论文笔记《Neural Machine Translation of Rare Words with Subwords Units》- ACL2016
爱丽丝咩咩章在好好学习
10-18 8794
原论文链接: https://arxiv.org/abs/1508.07909 参考paperweekly关于分词的一个总结：https://zhuanlan.zhihu.com/p/22700538 这篇文章主要解决的问题是OOV(Out of Vocabulary)问题，最小粒度介于word和character之间，利用BPE算法进行分词。 BPE算法的主要实现如图： import re, c...
填写以下代码，并给出详细解释Hypothesis = namedtuple('Hypothesis', ['value', 'score']) class NMT(nn.Module): """ Simple Neural Machine Translation Model: - Bidrectional LSTM Encoder - Unidirection LSTM Decoder - Global Attention Model (Luon
05-31
The code you provided defines a named tuple `Hypothesis` with two fields, `value` and `score`. This is a convenient way to store and manipulate hypotheses in the context of sequence-to-sequence models. The `NMT` class is a PyTorch module that implements a simple neural machine translation model. It consists of a bidirectional LSTM encoder, a unidirectional LSTM decoder, and a global attention mechanism based on Luong et al. (2015). Here's a breakdown of the code: ```python from collections import namedtuple import torch import torch.nn as nn import torch.nn.functional as F Hypothesis = namedtuple('Hypothesis', ['value', 'score']) class NMT(nn.Module): def __init__(self, src_vocab_size, tgt_vocab_size, emb_size, hidden_size): super(NMT, self).__init__() self.src_embed = nn.Embedding(src_vocab_size, emb_size) self.tgt_embed = nn.Embedding(tgt_vocab_size, emb_size) self.encoder = nn.LSTM(emb_size, hidden_size, bidirectional=True) self.decoder = nn.LSTMCell(emb_size + hidden_size, hidden_size) self.attention = nn.Linear(hidden_size * 2, hidden_size) self.out = nn.Linear(hidden_size, tgt_vocab_size) self.hidden_size = hidden_size def forward(self, src, tgt): batch_size = src.size(0) src_len = src.size(1) tgt_len = tgt.size(1) # Encode the source sentence src_embedded = self.src_embed(src) encoder_outputs, (last_hidden, last_cell) = self.encoder(src_embedded) # Initialize the decoder states decoder_hidden = last_hidden.view(batch_size, self.hidden_size) decoder_cell = last_cell.view(batch_size, self.hidden_size) # Initialize the attention context vector context = torch.zeros(batch_size, self.hidden_size, device=src.device) # Initialize the output scores outputs = torch.zeros(batch_size, tgt_len, self.hidden_size, device=src.device) # Decode the target sentence for t in range(tgt_len): tgt_embedded = self.tgt_embed(tgt[:, t]) decoder_input = torch.cat([tgt_embedded, context], dim=1) decoder_hidden, decoder_cell = self.decoder(decoder_input, (decoder_hidden, decoder_cell)) attention_scores = self.attention(encoder_outputs) attention_weights = F.softmax(torch.bmm(attention_scores, decoder_hidden.unsqueeze(2)).squeeze(2), dim=1) context = torch.bmm(attention_weights.unsqueeze(1), encoder_outputs).squeeze(1) output = self.out(decoder_hidden) outputs[:, t] = output return outputs ``` The `__init__` method initializes the model parameters and layers. It takes four arguments: - `src_vocab_size`: the size of the source vocabulary - `tgt_vocab_size`: the size of the target vocabulary - `emb_size`: the size of the word embeddings - `hidden_size`: the size of the encoder and decoder hidden states The model has four main components: - `src_embed`: an embedding layer for the source sentence - `tgt_embed`: an embedding layer for the target sentence - `encoder`: a bidirectional LSTM encoder that encodes the source sentence - `decoder`: a unidirectional LSTM decoder that generates the target sentence The attention mechanism is implemented in the `forward` method. It takes two arguments: - `src`: the source sentence tensor of shape `(batch_size, src_len)` - `tgt`: the target sentence tensor of shape `(batch_size, tgt_len)` The method first encodes the source sentence using the bidirectional LSTM encoder. The encoder outputs and final hidden and cell states are stored in `encoder_outputs`, `last_hidden`, and `last_cell`, respectively. The decoder is initialized with the final hidden and cell states of the encoder. At each time step, the decoder takes as input the embedded target word and the context vector, which is a weighted sum of the encoder outputs based on the attention scores. The decoder output and hidden and cell states are updated using the LSTMCell module. The attention scores are calculated by applying a linear transform to the concatenated decoder hidden state and encoder outputs, followed by a softmax activation. The attention weights are used to compute the context vector as a weighted sum of the encoder outputs. Finally, the decoder hidden state is passed through a linear layer to produce the output scores for each target word in the sequence. The output scores are stored in the `outputs` tensor and returned by the method.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值