【AAAI 2021】跨任务知识蒸馏：Robust Knowledge Transfer via Hybrid Forward on the Teacher-Student Mode

最新推荐文章于 2023-02-19 17:57:54 发布
最新推荐文章于 2023-02-19 17:57:54 发布
阅读量710 收藏 2
点赞数 1
分类专栏： 深度学习-模型压缩（蒸馏剪枝量化） 文章标签： 跨任务学习 深度学习 计算机视觉 模型压缩 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44936889/article/details/119491434
版权

【AAAI 2021】跨任务知识蒸馏：Robust Knowledge Transfer via Hybrid Forward on the Teacher-Student Mode

论文地址：

https://cse.buffalo.edu/~jsyuan/papers/2021/aaai21_song.pdf

主要问题：

当用深度学习模型做新的视觉任务时，一种常见的做法是从预训练模型开始微调，但是新任务可能需要使用新的域数据（比如I

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BIT可达鸭
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
SemCKD:这是AAAI-2021论文的正式实施（带语义校准的跨层蒸馏）
05-24
带有语义校准的跨层蒸馏（AAAI-2021） 根据进行知识蒸馏的位置，可以将现有的特征蒸馏工作分为两类。 如下图所示，一种是特征图蒸馏，另一种是特征嵌入蒸馏。 SemCKD属于特征图蒸馏，并且与SOTA特征嵌入蒸馏...
【论文速递】WACV2023- 用于多任务学习的在线知识蒸馏
qq_50757624的博客
03-13 594
多任务学习（MTL）在计算机视觉任务中得到了广泛的应用。我们训练一个骨干网络来学习不同任务的共享表示，例如语义分割、深度和正态估计。在许多情况下，负传输，即目标域中的性能受损，导致MTL精度低于训练相应的单任务网络。为了缓解这个问题，我们提出了一种在线知识蒸馏方法，其中单任务网络与MTL网络同时训练以指导优化过程。我们建议使用自适应特征蒸馏（AFD）损失和在线任务加权（OTW）方案为每个任务选择性地训练层。这种任务特征蒸馏使MTL网络能够以与单任务网络类似的方式进行训练。
论文-多任务推荐中的跨任务知识提取
weixin_42165744的博客
02-19 503
在线推荐系统通常涉及预测各种类型的用户反馈，比如点击和购买。多任务学习（MTL）（Caruana 1997）在这种背景下作为一种强大的工具出现，用于探索任务之间的联系，以改进用户兴趣建模（Ma et al. 2018b;常见的MTL模型由低级共享网络和若干个高级个体网络组成，如图1(a)所示，希望共享网络通过共享或强制不同任务参数的相似性来传递“如何对输入特征进行编码”的知识（Ruder 2017）。大多数以前的研究（Ma等人，2018 a;Tang等人，2020 a;
Learning Scene Structure Guidance via Cross-Task Knowledge Transfer forSingle Depth Super-Resolution
qq_42250789的博客
08-08 871
Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for Single Depth Super-Resolution论文阅读
【AAAI 2021】全部接受论文列表（二）
yinizhilianlove的博客
01-14 5417
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
论文阅读-多任务(2020)-KL4MTL：用于多任务学习的知识蒸馏方法
kevin_zhao_zl的博客
04-22 1123
多任务学习的目标是使得单个模型能够在多个任务上取得较好的结果，这样能够降低计算代价。该种模型的学习过程需要同时优化多种任务的损失，这些任务有着不同的学习难度、不同的维度以及不同的特征，对应着不同的损失函数，这很容易导致各个任务之间的学习程度不均衡。为此论文提出了一种用于多任务的蒸馏方法，首先为每个任务学习一个专用模型，然后学习一个多任务的模型用于最小化每个特定任务模型的损失并为单个模型生成相同特征。而专用模型会生成各自的特征，因此论文引入了一个针对单个任务的特征适配器来将多任务模型的特征映射到单一任务模型特
deep-blind-watermark-removal:[AAAI 2021]先分割再细化
05-07
此回购包含AAAI 2021论文的代码和结果： ， | | | （Google CoLab） 拟议的两阶段框架概述。 首先，我们提出了一个用于水印检测，删除和恢复的多任务网络SplitNet。 然后，我们提出了RefineNet，以使用预测的蒙版...
GEML-MDG:代码“图演化元学习用于低资源医学对话生成”。 [AAAI 2021]
05-04
AAAI 2021 先决条件 Allennlp（0.9.1-未发行） pytorch == 1.4.0 其他应该在./allennlp/requirements.txt找到 [Note] ：您需要以editable模式安装allennlp，即 cd ./allennlp pip install --editable . cd .. ...
AIES '21: Proceedings of the 2021 AAAI/ACM Conference on AI, Eth
05-17
AIES '21: Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society 2021
L2P-GNN:AAAI-2021论文“学习预训练图神经网络”的代码和数据集
05-08
该存储库是AAAI-2021论文《的正式实施 要求 要安装要求： pip install -r requirements.txt 数据集 可以从以下链接下载所有必需的数据文件。 对于生物学数据集，请从和下载（提取代码：j97n），将其解压缩，然后将...
REFILLED:这是CVPR'20论文“通过关系匹配提取跨任务知识”的代码
05-23
已转寄 这是CVPR 2020口头论文“通过关系匹配提取跨任务知识”的代码。 如果您在工作中使用此回购的任何内容，请引用以下围兜条目： @inproceedings{ye2020refilled, author = {Han-Jia Ye and Su Lu and De-Chuan Zhan}, title = {Cross-Task Knowledge Distillation via Relationship Matching}, booktitle = {Computer Vision and Pattern Recognition (CVPR)}, year = {2020} } 跨任务知识蒸馏 利用来自相关预训练模型的学习经验来促进当前任务中的模型训练是很直观的。 与细调或参
微软透过知识蒸馏法改善多任务深度神经网络研究
weixin_34233421的博客
05-17 590
微软研究院最近介绍了透过知识蒸馏法（distillation），来改善多任务深度神经网络（Multi-Task Deep Neural Network， MT-DNN）的研究，打造出更稳固且通用的自然语言理解模型，微软将多个整体（ensembled ）模型，透过知识蒸馏法，训练出单一个稳固且通用的MT-DNN。微软表示，整体学习是改善自然语言处理模型最有效的方法之一，目前已被广泛地应用在NLU任务...
知识蒸馏（Knowledge Distillation）
热门推荐
AI Flash
06-04 17万+
1、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂、但推理性能优越）相关的软目标（soft-target）作为total loss的一部分，以诱导学...
知识蒸馏 综述 Knowledge Distillation: A Survey
doctor_strange****
04-26 8404
Knowledge Distillation: A Survey 本文译自Knowledge Distillation: A Survey，论文地址：https://arxiv.org/abs/2006.05525 （有翻译不周之处，敬请指正） 1. Introduction 深度学习取得了巨大进步，但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。 为了使深度模型更加高效，主要有以下两个方向的研究： 高效的网络模块构建：如MobileNets, ShuffeNets .
AAAI 2021：一种跨城市迁移的新冠肺炎高危社区发现框架
李瑞远-时空数据
08-25 467
新冠肺炎已经在世界范围内广泛传播，严重影响着人们的日常生活。面对新冠肺炎，人为干预的空间隔离手段（如限制出行或集中隔离）已经被证明其有效性。但是，确诊病例的统计往往是滞后且粗粒度的，比如对于尚未确诊的患者他们的传染过程并没有被考虑，因此直接通过各区域的确诊病例建立时空预测模型的方法效果不佳。基于此，研究人员提出了一种跨城市迁移的新冠肺炎高危社区发现框架，该框架能够从人类移动数据与区域特征对地块的隐式传播性进行建模，并能够将在疫情爆发的源城市中学习到的知识迁移到疫情未爆发目标城市，用于当地高危社区的检测。经过
[论文翻译]Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New
weixin_44189610的博客
02-14 2046
作者简介： 发布期刊：TPAMI 作者单位：韩国科学技术院（KAIST） 作者1：Lin Wang（机械工程系博士生），研究兴趣包括底层视觉（图像超分辨率和去模糊）、基于事件相机的视觉、深度学习（GAN、知识迁移、对抗攻击、Few-shot learning）、VR/AR。 作者2：Kuk-Jin Yoon（机械工程系副教授），研究兴趣包括基于视觉的ADAS、立体视觉、三维重建、视觉目标跟踪、SLAM和SFM。 论文概要： 该论文是对于网络轻量化中的知识蒸馏的综述。系统的分析了只是蒸馏的研究现状，并 正文翻
AAAI'23 | 用于NAT的选择性知识蒸馏框架
zenRRan的博客
12-06 299
每天给你送来NLP技术干货！来自：南大NLP点击这里进群—>加入NLP交流群01研究动机 在本文中，我们研究了一种能够高效推理的机器翻译模型NAT (Non-Autoregressive Transformer)[1]。相较于传统的Transformer，NAT能够在解码阶段并行预测，从而大幅提升模型的推理速度。此外，NAT可以使得模型在训练和测试阶段从相同的分布进行预测，从而有效避免了顺序...
【AAAI 2021】零样本知识蒸馏：Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis
梁瑛平的博客
08-07 1188
【AAAI 2021】零样本知识蒸馏：Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis论文地址：主要问题：主要思路：主要贡献：具体实现：基本符号：具有多元正态分布的特征空间建模： 论文地址： https://arxiv.org/abs/2104.04868 主要问题： 实现无数据 KD 的关键思想是生成信息丰富的伪样本，从而可以近似原始训练样本的分布 主要思路： 这篇文章提出了一种新的无数据 KD 方法，即利
aaai 2020 tutorial explainable ai:
最新发布
01-07
AAAI 2020的教程“可解释人工智能”将重点介绍可解释人工智能的概念、方法和应用。可解释人工智能是指人工智能系统能够以一种可理解的方式解释其决策和行为的能力。该教程将涵盖可解释人工智能的基本原则和方法，包括规则推理、可视化技术、模型解释和对抗性机器学习等。 在教程中，我们将首先介绍可解释人工智能的背景和意义，解释为什么可解释性对于人工智能的发展至关重要。然后，我们将深入探讨可解释人工智能的基本概念和技术，例如局部解释和全局解释。我们还将介绍一些关键的可解释性方法，如LIME（局部诠释模型）和SHAP（SHapley Additive exPlanations），并解释它们的原理和应用场景。 此外，我们还将探讨可解释人工智能在各个领域的具体应用，包括医疗诊断、金融风险管理和智能驾驶等。我们将分享一些成功的案例和实践经验，探讨可解释人工智能在实际应用中的挑战和解决方案。最后，我们还将讨论未来可解释人工智能的发展趋势和挑战，展望可解释性在人工智能领域的重要性和前景。 通过参加该教程，学习者将能够全面了解可解释人工智能的概念、方法和应用，理解其在实际应用中的重要性，掌握一些关键的可解释性技术和工具，并对可解释人工智能的未来发展有一个清晰的认识。希望通过这次教程，能够为学习者提供一个全面而深入的可解释人工智能学习和交流平台。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT可达鸭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值