【机器翻译】《Nearest Neighbor Knowledge Distillation for Neural Machine Translation》论文总结

最新推荐文章于 2022-10-25 01:41:57 发布
最新推荐文章于 2022-10-25 01:41:57 发布
阅读量468 收藏 1
点赞数
文章标签： 机器翻译 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tobi_Obito/article/details/125768307
版权

《Nearest Neighbor Knowledge Distillation for Neural Machine Translation》icon-default.png?t=M666https://arxiv.org/pdf/2205.00479.pdf

简介

这是一篇2022年发表在NAACL的一篇机器翻译的论文，是针对21年提出的用kNN(k Nearest Neighbor) Search来decoding的机器翻译方法的改进，这篇论文简洁明了地介绍了kNN Search decoding的原理，并且针对kNN Search带来的庞大的decoding计算开销进行改进：用知识蒸馏的方式将KNN Search由decoding阶段提前到模型训练之前——提前训练一个以kNN为学习目标的教师模型、在训练过程中教师模型指导学生模型训练，使得最终的学生模型学习到kNN的知识，在decoding阶段按照常规的seq2seq解码方式正常进行ÿ

最低0.47元/天 解锁文章
Tobi_Obito
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【论文推荐】了解《机器翻译》必看的6篇论文（附打包下载地址）
weixin_48294000的博客
09-12 1251
论文推荐“SFFAI123期来自中科院计算技术研究所的谷舒豪推荐的文章主要关注于自然语言处理的机器翻译领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章公众号回复&#...
机器翻译论文
weixin_30670151的博客
11-06 102
版权声明：博客仅供参考，有什么意见，请在下方留言，转载时请附上链接，谢谢！https://blog.csdn.net/u010105243/article/details/78347979(2014)Sequence to sequence learning with neural networks(2014)Learning Phrase Representations using RNN E...
机器翻译相关论文Topic推荐
AI_Conf的博客
11-09 617
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 AMiner平台：https://www.aminer.cn 机器翻译，又称为自动翻译，是利用计算机将一种自然语言（源语言）转换为另一种自.
论文翻译-机器翻译：Attention
weixin_34191845的博客
03-08 355
2019独角兽企业重金招聘Python工程师标准>>> ...
Machine Translation Paper Lists
Deep Learning and NLP Farm
03-04 341
[NAACL2018] Improving Neural Machine Translation with Conditional Sequence Generative Adversarial Nets
Multidimensional k-nearest neighbor model based on EEMD for financial time series forecasting
02-22
Multidimensional k-nearest neighbor model based on EEMD for financial time series forecasting
Product Quantization for Nearest Neighbor Search
12-24
FAISS的理论基础之一。
Noisy data elimination using mutual k-nearest neighbor for classification mining
02-21
Noisy data elimination using mutual k-nearest neighbor for classification mining
TSP.rar_Nearest neighbor_TSP JAVA_tsp
09-14
Nearest Neighbor for Tsp
MATS.zip_k-nearest neighbor _time series
09-21
this toolbox can be used for Computation of Multiple Measures on Time Series Data Bases
论文研究-K-Nearest Neighbor Cluster Validity Index.pdf
08-16
基于K近邻的聚类有效性指标，肖宇，于剑，聚类有效性是聚类分析中的一个重要问题。这篇文章中提出了一个基于K近邻的聚类有效性指标，NNI。文献中已提出好多聚类有效性指标��
机器翻译研究现状与展望
12-23
本文回顾机器翻译研究的历史，介绍典型的机器翻译方法，包括：基于规则、基于统计以及基于实例的机器翻译方法；针对机器翻译的研究现状，详细介绍和分析了基于混合策略的机器翻译方法，对统计以及机器学习方法在机器翻译中的应用进行了描述；论文还介绍了当前机器翻译评测技术；最后对机器翻译进行总结和展望。
论文篇 | 基于深度学习的机器翻译论文总汇
weixin_44649780的博客
10-25 3212
长期以来，人们一直认为人类翻译的质量对于计算机翻译系统来说是无法实现的。在这项研究中，我们提出了一个深度学习系统CUBBITT，它挑战了这一观点。在人类法官的上下文感知盲测评估中，CUBBITT在保留文本含义（翻译充分性）方面显着优于专业机构的英语到捷克语新闻翻译。虽然人工翻译仍然被评为更流畅，但CUBBIT被证明比以前最先进的系统更流畅。此外，翻译图灵测试的大多数参与者都很难将CUBBITT翻译与人工翻译区分开来。这项工作接近人工翻译的质量，甚至在某些情况下充分超越了它。
「自然语言处理(NLP)」神经机器翻译(NMT)论文整理(一)
yinizhilianlove的博客
03-01 1706
来源: AINLPer 微信公众号（每日更新…） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-27 引言： 下面是作者整理的关于神经机器翻译（NMT）相关的论文文章，下面这10篇文章都顶会ICLR发表的文章，能找到源码的作者也直接贴出来了，如果你对NMT感兴趣或者也在找一些相关的文章，希望能够帮助你~~ 关于本次分享得十篇NMT文章，如果你一篇篇的论文下载不方便，你...
基于Attention的机器翻译模型，论文笔记
热门推荐
夏目的博客
11-19 1万+
论文题目：Neural Machine Translation by Jointly Learning to Align and Translate 论文地址：http://pdfs.semanticscholar.org/071b/16f25117fb6133480c6259227d54fc2a5ea0.pdf GIF来源：https://jalammar.github.io/visuali...
[论文阅读] Nearest Neighbor Classifier Embedded Network for Active Learning
xiongxyowo的博客
11-26 2494
论文地址：https://www.aaai.org/AAAI21Papers/AAAI-39.WanF.pdf 代码：https://github.com/WanFang13/NCE-Net 发表于：AAAI’21 Abstract 深度神经网络(DNN)已被广泛地应用于主动学习。尽管它很有效，但当标记集和未标记集之间存在明显的分布偏差时，判别性分类器(softmax分类器)的泛化能力是值得怀疑的。当标记集和未标记集之间存在明显的分布偏差时，判别性分类器（softmax分类器）的泛化能力值得怀疑。在本文中，
EMNLP 2021 Transformers论文合集
AI_Conf的博客
11-11 506
EMNLP是由国际计算语言学协会下属特殊兴趣小组SIGDAT发起并组织的系列会议,是自然语言处理领域顶级的国际学术会议之一。EMNLP 2021 将于 11 月 7 日 - 11 日进行，一共接收了656篇长文、191篇短文，Findings接收了305篇长文、119篇短文。 AMiner通过AI技术，对EMNLP2021收录的会议论文进行了分类整理，欢迎下载收藏！ AMiner-EMNLP2021：https://www.aminer.cn/conf/emnlp2021/papers?f=cs 1.论文名
【论文推荐】了解《机器翻译专题》必看的6篇论文（附打包下载地址）
weixin_48294000的博客
11-07 853
论文推荐“SFFAI128期来自中国科学院计算技术研究所直博生张绍磊推荐的文章主要关注于自然语言处理的机器翻译专题领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章公...
论文阅读：《Neural Machine Translation by Jointly Learning to Align and Translate》
void_p的博客
11-29 303
4.EXPERIMENT SETTINGS task:英法翻译 使用ACL WMT’14提供的双语平行语料库。作为对比，采用RNN 的Encoder-Decoder模型在相同的训练集上进行对比。 4.1 数据集 采用双语平行语料库，选用每种语言中最常见的30,000个单词来训练模型，没有包括在里面的被映射成([UNK])。没有采用小写或者词干。（lowercasing or stemming ...
Nearest Neighbor
最新发布
09-07
引用: 最近邻分类器（Nearest Neighbor Classifier），也称为k-最近邻算法（k-Nearest Neighbor，k-NN），是一种常见的机器学习算法，用于解决分类问题。该算法的基本思想是，根据样本之间的相似性，将待分类样本归...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值