论文推荐
“SFFAI123期来自中科院计算技术研究所的谷舒豪推荐的文章主要关注于自然语言处理的机器翻译领域,你可以认真阅读讲者推荐的论文,来与讲者及同行线上交流哦。”
关注文章公众号
回复"SFFAI123"获取本主题精选论文
01
推荐理由:最早提出使用外领域数据初始化模型进而提高目标领域工作的文章。
02
推荐理由:这篇文章提出为每个领域加上不同的输出层,来学习不同领域的的特征,能够用比较少的参数来提高各个领域的翻译质量。
03
推荐理由:这篇文章作者通过固定神经机器翻译模型不同模块参数的方式来理解各模块在领域自适应的过程中所发挥的作用。
04
推荐理由:这篇论文通过Fisher信息矩阵来判断模型参数的重要性,然后对于各重要的参数施加更多的限制,使其和原始值更为接近,来缓解灾难性遗忘现象。
05
推荐理由:这篇文章提出了在模型中插入领域私有的模块来学习对应的领域特征。
06
推荐理由:这篇多领域翻译的文章通过不同参数对于不同领域的重要性来构造不同的领域子网络。
会议内容
会议简介
神经机器翻译模型在进行领域自适应的过程中会发生灾难性遗忘现象,即模型会过拟合新数据的特征,而逐渐忘记在之前数据上学习得到的知识。尽管研究人员已经提出很多方法解决这个问题,但是