Massive Exploration of Neural Machine Translation Architectures论文解读

卷心菜不想卷

于 2024-09-03 11:06:54 发布

阅读量489

点赞数 8

文章标签：人工智能深度学习论文阅读

本文链接：https://blog.csdn.net/m0_52775136/article/details/141823077

版权

基本信息

作者	D Britz	doi
发表时间	2017	期刊	EMNLP
网址	https://arxiv.org/abs/1703.03906v1

研究背景

1. What’s known 既往研究已证实
神经机器翻译NMT是一种自动翻译的端到端方法（Neural Machine Translation by Jointly Learning to Align and Translate论文里的，刚读过），训练代价高昂，所以我们需要超参数提高NMT的性能。

2. What’s new 创新点
进行了大规模的超参数分析，对比了不同超参数（如嵌入维数、RNN单元类型、编码器和解码器的深度、注意力机制等）对NMT性能的影响。

3. What’s are the implications 意义
通过实验得出的最佳超参数组合和架构选择，为构建高性能的NMT系统提供了有力支持。

研究方法

1. 嵌入维度
期望更大的嵌入可以获得更好的BLEU分数，更低的困惑。但大嵌入和小嵌入对梯度的更新没有太大的差异。
在这里插入图片描述
2. RNN变体
门控单元（如GRU和LSTM）的动机是消失梯度问题。使用普通RNN单元，深度网络无法通过多个层和时间步有效地传播信息和梯度。在实验中，LSTM始终优于GRU。

3. 编码器与解码器深度
解码器方面，较深的模型比较浅的模型表现出小幅度的优势。
并且我们发现如果没有残差连接，我们不可能训练具有8层或更多层的解码器。
深度解码器实验中，密集残差连接始终优于常规残差连接，并且在步长计数方面收敛得更快。
在这里插入图片描述
4. 单向与双向编码器
双向编码器通常优于单向编码器，但差距不大。反向源编码器的性能始终优于非反向源编码器，但不优于较浅的双向编码器。

5. 注意力机制
加性注意机制略优于乘性注意机制
在这里插入图片描述
6. beam搜索策略
良好的beam搜索可以增加BLEU，有最佳点，不是越大越好。