![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 80
星竹紫兰
绿色氧
展开
-
【知识蒸馏2018】Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neurons
知识蒸馏论文概述原创 2022-06-30 12:04:31 · 1150 阅读 · 1 评论 -
【2021自我知识蒸馏】Extracting knowledge from features with multilevel abstraction
【2021.12.8自我知识蒸馏】Extracting knowledge from features with multilevel abstraction一· 本文框架(LFMA)二. 框架具体1.额外层:Extra Layer2.集成3.损失函数4.特征裁剪三. 实验一· 本文框架(LFMA) 从多级抽象的特征中提取知识(LFMA):Extracting Knowledge from Features with Multilevel Abstraction 自蒸馏 (SKD) : Sel原创 2022-03-26 16:41:05 · 3826 阅读 · 0 评论 -
【2020】自我蒸馏分类改进Regularizing Class-wise Predictions via Self-knowledge Distillation
【2020】Regularizing Class-wise Predictions via Self-knowledge Distillation具有数百万个参数的深度神经网络可能由于过拟合而泛化能力较差。本文通过自我蒸馏增加正则化(惩罚项),从而减轻过拟合。具体:取同一分类的不同样本进行分类预测,要求产生相似的错误分类,而传统分类未考虑预测分布的一致性。结果:防止过拟合+减少内部阶级差异。...原创 2022-02-21 16:29:59 · 1187 阅读 · 0 评论 -
【2022.1自蒸馏】ADAPTIVE IMAGE INPAINTING自适应图像修复简要概述
【2022.1自蒸馏】ADAPTIVE IMAGE INPAINTING自适应图像修复提出交叉蒸馏+自蒸馏cross (inter-network) and self (intra-network) distillation交叉蒸馏:从包含缺失区域特征的完整信息的辅助网络转移知识,将一个现成的未完成的自编码器训练去重构GT(Ground Truth地面实况)图像...原创 2022-02-18 10:50:41 · 2078 阅读 · 0 评论 -
【2022.1】基于自蒸馏和负采样的自监督异常检测
【2022.1自蒸馏】Self-Supervised Anomaly Detection by Self-Distillation and Negative Sampling预备知识:测试数据和训练数据都来自同样的分布(称作分布内,in-distribution)例如我们利用一组猫、狗照片训练一个猫、狗分类器。然而,部署的模型在实际使用中总是会遇到一些不属于封闭世界类别的图片,例如老虎。或者也会遇到一些和训练图片视觉上大相径庭的照片,例如卡通猫。模型应当如何去处理这些不属于训练分布的图片(即分布外样原创 2022-02-17 12:18:24 · 2172 阅读 · 0 评论 -
【2021知识蒸馏】Show, Attend and Distill:Knowledge Distillation via Attention-based Feature Matching
【2021自我蒸馏】Show, Attend and Distill:Knowledge Distillation via Attention-based Feature Matching1.问题背景2.模型3.实验结果4.创新点与总结1.问题背景 知识蒸馏:从老师到学生的学习,一般人工选择老师和学生的中间特征。然而,手动选择经常构建无效的链接,限制了蒸馏的改进。已经有人试图解决这个问题,但在实际情况下确定有效的联系仍然具有挑战性。 本文:利用基于注意力的元网络学习特征之间的相对相似性,原创 2021-12-21 11:57:12 · 1658 阅读 · 0 评论 -
小样本学习|元学习ICLR2017《Optimization as A Model for Few-shot Learning》
经典论文汇总: 小样本学习论文汇总链接原创 2020-11-16 18:25:07 · 308 阅读 · 0 评论 -
因果推断+机器学习:2020《Stable Prediction with Model Misspecification and Agnostic Distribution Shift∗》
Stable Prediction with Model Misspecification and Agnostic Distribution Shift稳定预测问题论文综述: 具有模型错误说明和不可知分布移位的稳定预测作者: Kun Kuang1,2†, Ruoxuan Xiong3, Peng Cui2, Susan Athey3, Bo Li2目的:稳定预测机器学习假设训练集分布和测试集分布相同模型正确地描述,而实际上模型的预测的每个结果是有概率出错的。缺少:1.真实模型的先验知识原创 2020-10-14 16:12:56 · 2109 阅读 · 0 评论 -
因果推断运用到机器学习的思想 2篇论文
因果推断+机器学习链接: 知网:借助因果推断,更鲁棒的机器学习来了!.机器学习+因果推理综述Schölkopf, Bernhard. “Causality for machine learning.” arXiv preprint arXiv:1911.10500 (2019). 简介: 这是一篇刚刚挂在arxiv 就被 Pearl 亲自 twitter 点赞的论文,是马普智能所所长 Bernhard Schölkopf 最引以为傲的论文之一,他把被 Pearl 点赞这事情第一时间写在个人主页自我介绍原创 2020-10-11 20:16:20 · 1888 阅读 · 0 评论