Sequence-Level Knowledge Distillation

最新推荐文章于 2023-04-17 23:30:27 发布
最新推荐文章于 2023-04-17 23:30:27 发布
阅读量4.2k 收藏
点赞数 2
分类专栏： NLP 文章标签： Sequence Knowledge Distillati NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haitaolang/article/details/60167226
版权
该博客探讨了序列级别的知识提炼在模型压缩中的应用，通过训练简单网络以逼近复杂网络的效果。主要内容包括词级别和序列级别的知识传递方法，如交叉熵和负对数似然的插值最小化，并介绍了如何利用k-Beam Search优化目标函数。
摘要由CSDN通过智能技术生成

《Sequence-Level Knowledge Distillation》

序列级别的知识提炼


一、大纲

这篇论文主要讲的是模型压缩，也就是训练一个简单的网络来代替已有的复杂的网络，训练的目标两个网络的交叉熵最小（两个网络的效果相近）和简单网络的负对数似然最小（网络的效果好）。

 

二、Word-Level

 

描述：Teacher Network和Student Network分别训练处

最低0.47元/天 解锁文章
可乐司机
关注
专栏目录
[论文阅读]Sequence-Level Knowledge Distillation
ZY_miao的博客
11-29 1827
文章目录前言摘要一、Introduction二、Distillation2.1 Knowledge Distillation2.2 Knowledge Distillation for NMT2.2.1 Word-Level Knowledge Distillation2.2.2 Sequence-Level Knowledge Distillation2.2.3 Sequence-Level Interpolation三、Experiments五、Discussion总结 前言 论文名：Sequence
Knowledge Distillation
zhangjf26的博客
08-07 5065
从模型压缩的角度调查了有关蒸馏相关的进展。与视觉应用型论文不同模型压缩的论文开源的比例并不多，相比较之下蒸馏相关工作算是开源比例大的。下面主要从是否开源或实现两方面按照发表时间列出相关论文和实现。并在有源码实现了论文中做了进一步相关方法的调查。 ##一、知识蒸馏相关论文和进展survey：（开源或有第三方实现） 2014-NIPS-Do Deep Nets Really Need to be...
sequence-level knowledge distillation
11-22
sequence-level knowledge distillation
翻译：Structure-Level Knowledge Distillation For Multilingual Sequence Labeling
weixin_42628991的博客
04-21 576
Structure-Level Knowledge Distillation For Multilingual Sequence Labeling（面向多语言序列标注的结构级知识蒸馏） 面向多语言序列标注的结构级知识蒸馏0 摘要1 简介2 研究背景2.1 序列标注2.2 知识蒸馏3 实验方法3.1 Top-K蒸馏3.2 后验蒸馏3.3 多语言知识提蒸馏4 实验4.1 设置4.2 结果4.3 Zero-shot转移4.4 较弱的教师KD4.5 Top-K的k值4.6 训练时间和内存消耗相关工作6 关于Flai
知识蒸馏是什么？一份入门随笔
zandaoguang的博客
10-31 665
作者丨LinT@知乎来源丨https://zhuanlan.zhihu.com/p/90049906编辑丨极市平台0. 写在前面有人说过：“神经网络用剩的logits不要扔，沾上鸡蛋液，...
【学习】自注意力机制的改进方法、non-autoregressive sequence generation、point network
Raphael9900的博客
12-12 3993
李宏毅机器学习 学习自注意力机制的改进方法、non-autoregressive sequence generation、point network
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 4968
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
面向大规模神经网络的模型压缩和加速方法
Paper weekly
06-17 781
©PaperWeekly 原创 ·作者 |林野单位 |机器翻译学堂▎本文作者介绍：林野，东北大学自然语言处理实验室 2019 级博士生，研究方向：机器翻译、模型压缩、模型加速。▎东北大学自然语言处理实验室：东北大学自然语言处理实验室由姚天顺教授创建于 1980 年，现由朱靖波教授领导，长期从事计算语言学的相关研究工作，主要包括机器翻译、语言分析、文本挖掘等。在神经网络...
深度学习(八) Transformer 理论部分
AliForever2020的博客
08-16 989
本文是根据李宏毅老师的Transformer理论部分的讲解
Lecture 5(Extra Material)：Non-Autoregressive Sequence Generation
最新发布
zzz_qing的博客
04-17 194
CTC的缺点：1. Falls behind LAS 2. Can't be refined。缺点：Decoder花费的时间和要Decoder生成的句子长度成正比。存在的问题：multi-modality problem。Imputer对CTC的缺点进行了改良。优点：一次把整句话生成出来，节省时间。有三招可以加强这个model。
【机器学习】详解 BERT
闻韶
09-28 4165
【机器学习】详解 BERT
基于aspect的情感分析综述 论文翻译笔记 A Survey on Aspect-Based Sentiment Analysis: Tasks, Methods, and Challenges
有氧呼吸的地方
03-16 3505
对文本讨论的主体或之某一方面的情感的分析是相当重要的细粒度层次的任务，我们希望在aspect层面上提取人们的意见和想法、尝试去解析句子中涉及到的“某一方面”的情感
知识蒸馏（Distillation）相关论文阅读（1）——Distilling the Knowledge in a Neural Network（以及代码复现）
Lucifer_zzq的博客
03-21 9925
———————————————————————————————《Distilling the Knowledge in a Neural Network》Geoffrey Hintion以往为了提高模型表现所采取的方法是对同一个数据集训练出多个模型，再对预测结果进行平均；但通常这样计算量过大。引出一种模型压缩技术：Distillation；以及介绍了一种由一个或多个完整模型（full models...
知识蒸馏（Knowledge Distillation）
热门推荐
AI Flash
06-04 18万+
1、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂、但推理性能优越）相关的软目标（soft-target）作为total loss的一部分，以诱导学...
神经网络模型压缩之Knowledge Distillation
rtygbwwwerr的专栏
03-09 1万+
神经网络模型压缩之Knowledge Distillation 1. Background 随着深度学习理论的普及和PC计算能力的提高, Neural Network也日益趋于复杂化–越来越深和越来越大, 比如VGG系列,深度均在10层以上, 残差网络的深度更是从数十到一百以上. 复杂的网络模型带来的是超强的规则学习能力, 虽然以现在动辄几十或上百多机GPU并行的计算能力而言, 这样的巨大...
【文献阅读】dropout distillation
pearl30的博客
08-03 1028
构造用户定义的有效预测器集合，在其中找与理想dropout预测期最近的。。。
知识蒸馏 综述 Knowledge Distillation: A Survey
doctor_strange****
04-26 1万+
Knowledge Distillation: A Survey 本文译自Knowledge Distillation: A Survey，论文地址：https://arxiv.org/abs/2006.05525 （有翻译不周之处，敬请指正） 1. Introduction 深度学习取得了巨大进步，但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。 为了使深度模型更加高效，主要有以下两个方向的研究： 高效的网络模块构建：如MobileNets, ShuffeNets .
利用python实现sequence-DTW算法
03-24
Sequence-DTW算法的全称是Sequence Dynamic Time Warping。如果您想在Python中实现Sequence-DTW算法，可以选择使用Python中的NumPy库和DTW库。您需要先导入这两个库然后按照以下步骤操作： 1. 将您的两个时间序列...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值