基于特征重建的知识蒸馏方法

最新推荐文章于 2023-11-12 12:08:04 发布
最新推荐文章于 2023-11-12 12:08:04 发布
阅读量454 收藏
点赞数
分类专栏： 文献 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50094312/article/details/127563931
版权

基于特征重建的知识蒸馏方法

期刊：图形图像

时间：2020

研究院：北京信息科技大学

关键词：深度神经网络；模型压缩；知识蒸馏；特征重建；风格迁移；图像分类

方法简介

思想来源

传统的知识蒸馏忽略了教师模型的互相交互，而一些新模型 Zhou[10]、Mirzadeh[11]等人提出的模型虽然有了交互过程，但是网络交互方式大大限制了学生网络的灵活性。由此本文结合图片风格迁移实验中的特征重建方法提出了一种新的知识蒸馏方法。

具体方法

特征重建算法

Johnson 等人[13]在图片风格迁移实验中发现，两张图片输入同一个网络时，图片的内容越相似则网络的深度特征越相似。于是在图片风格迁移实验中提出了特征重建损失函数。此损失函数是由已经训练好的 VGGNet[14]计算得到的，将 VGGNet 作为损失函数产生网络，用来训练图片风格迁移网络。风格迁移实验内容迁移（即特征重方法）的训练架构如图 3 所示

其中 y 为图片生成网络生成的新图片，yc 为图片生成网络生成新图片的目标图片。实验中 VGGNet 的深度特征欧氏距离越小，则图片生成网络生成的图片内容越接近目标图片。由此也可以得出特征重建损失函数。此损失函数如下：

后续没看懂

HoraceO
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DFR: Deep Feature Reconstruction for Unsupervised Anomaly Segmentation 用于无监督异常分割的深度特征重建
TU商的博客
02-01 2177
DFR: Deep Feature Reconstruction for Unsupervised Anomaly SegmentationDFR:用于无监督异常分割的深度特征重建类型：公开 原文：https://tongtianta.site/oss/paper_pdf/ccf44eb8-bad0-11eb-872a-00163e0d281a_ecb913b8dd2e9e210986f14a375232d3.pdfJie Yang, Yong Shi, ZhiQuan Qi杨洁，石勇，齐志权Ab
Ultra-High-Definition Image Dehazing via Multi-Guided Bilateral Learning（基于多引导双边学习的超高清图像去雾CVPR2021）
yanglong6666的博客
01-22 2671
摘要：卷积神经网络在单幅图像去雾任务中取得了显著的成功。遗憾的是，现有的深度去雾模型计算复杂度高，难以应用于高分辨率图像，特别是UHD或4K分辨率的图像。为了解决这一问题，我们提出了一种新的网络，能够在单个GPU上实现4K图像的实时去雾，该网络由三个深度CNN组成。首先CNN以降低的朦胧输入分辨率提取与雾相关的特征，然后在双边空间中拟合局部仿射模型。另一个CNN用于学习多个全分辨率导航图对应的双边模型。因此，通过多导双侧上采样可以重建高频特征图。最后，第三个CNN将高质量的特征映射融合成去雾图像。此外，我们
深度学习中的知识蒸馏技术（上）
zenRRan的博客
02-02 2050
点击上方，选择星标或置顶，每天给你送干货！来自：Microstrong本文概览:1. 知识蒸馏介绍1.1 什么是知识蒸馏？在化学中，蒸馏是一种有效的分离不同沸点组分的方法，大致步骤是先升...
知识蒸馏(Knowledge Distillation)
weixin_44125346的博客
09-11 2625
知识蒸馏(Knowledge Distillation) 从大型、深层的教师网络中提炼知识并转移到小型、简单的学生网络中 更深更广→更浅更薄 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LtOe5CiH-1631343439036)(F:\Blog\image\知识蒸馏1.PNG)] 知识(Knowledge) [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mQBacMmn-1631343439039)(F:\Blog\image\知识蒸馏2
【知识蒸馏】Masked Generative Distillation
AaaA00000001的博客
01-02 1128
知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提高学生的表现。本文表明，教师还可以通过指导学生的特征恢复来提高学生的表征能力。从这个角度来看，我们提出了掩蔽生成蒸馏(MGD)，它很简单:我们屏蔽学生特征的随机像素，并迫使它通过一个简单的块生成教师的完整特征。MGD是一种真正通用的基于特征的蒸馏方法，可用于各种任务，包括图像分类、目标检测、语义分割和实例分割。我们在具有广泛数据集的不同模型上进行了实验，结果表明所有学生都取得了出色的改进。
基于知识蒸馏的超分辨率卷积神经网络压缩方法.pdf
09-25
在实验中，使用峰值信噪比（PSNR）评估重建质量的结果，使用知识蒸馏方法的学生网络与不使用知识蒸馏方法的学生网络相比，在放大倍数为3时，在4个公开测试集上的PSNR提升量分别为 0.53dB、0.37dB、0.24dB 和 0.45dB...
基于知识蒸馏的轻量型神经网络设计.pdf
09-25
在本文中，作者提出了一个基于知识蒸馏的轻量型神经网络设计方法，该方法使用了分组卷积和点式卷积相结合的残差结构，并结合基于风格迁移和特征重建的知识蒸馏算法对模型进行训练。实验结果表明，在CIFAR10和CIFAR...
单帧图像超分辨率重建
07-02
因此，本代码可能还包含了优化策略，如模型量化、剪枝或知识蒸馏，以减小模型大小并加快推理速度。 为了评估算法的性能，通常会使用标准的测试数据集，如Set5、Set14、BSD100等，并采用客观和主观的评价指标。客观...
基于模块相似性的超分网络剪枝.docx
12-15
知识蒸馏则依赖于一个强大的教师网络来指导小型学生网络的学习，但这种方法需要精心设计网络结构。相比之下，网络剪枝具有更高的灵活性，适用于多种网络，并直接减少了模型参数，降低了存储需求和推理速度。 在超分...
Focal and Global Knowledge Distillation for Detectors聚焦蒸馏与全局蒸馏在目
06-24
在目标检测中，教师网络和学生网络的特征在前景和背景区域往往存在显著差异，这为知识蒸馏带来了困难。 针对这一问题，文章提出了Focal and Global Distillation (FGD) 方法，它由聚焦蒸馏和全局蒸馏两部分组成。...
Perceptual Loss（感知损失）&Perceptual Losses for Real-Time Style Transferand Super-Resolution论文解读
qq_40962125的博客
01-10 4111
感知损失通过一个固定的网络（VGG16,VGG19..），分别用prediction 和 groundtruth作为VGG16输入， 得到对应的输出特征，pre-vgg，gt-vgg。注：往往pre-loss（感知损失）为正则项，需要配合其他损失函数进行指导，可以通过自定参数调节感知损失的惩罚（调节）力度。在提取特征时，通常不会只使用一层的特征，而是使用网络中浅层，中层，深层特征，进行组合。2.送入prediction和ground truth分别通过VGG前向，并得到pre-vgg，gt-vgg。
特征蒸馏
Jony0917的专栏
02-21 7745
最近几年中，深度模型在推荐领域里的预测任务上取得的令人满意的成果。但大部分工作的焦点放在的模型，只有有限的少数工作注意到了输入的特征，但实际上特征决定了模型效果的上限。本文的工作也关注到了特征层面，特别是商业推荐系统中的特征。 为了确保离线训练和在线服务的一致性，现实的应用中我们通常采用两个环境下都可以获取的特征。只有训练期间才能获取到的一批具有识别能力的特征因此被忽略。以电商推荐中的转化率预测为例，我们的目标是预测用户点击商品之后购买的概率。描述点击后详情页内用户行为的特征可能非常有用。但是线上转化率预测
实例99：使用AEGAN对MNIST数据集压缩特征及重建
新手的博客
05-14 788
  本实例在MNIST数据集上使用AEGAN模型进行特征压缩及重建，并且加入标签信息loss实现AC-GAN网络。其中D和G都是通过卷积网络实现。 实例描述   使用InfoGAN网络，在其基础上添加自编码网络，将InfoGAN的参数固定，训练反向生成器（自编码网络中的编码器），并将生成的模型用于MNIST数据集样本重建，得到相似的样本。 1.添加反向生成器   添加反向生成器inversegenerator函数。该函数的功能是将图片生成特征吗，其结构与判别器相似，均为生成器的反向操作，即两个卷积层加上两个
常见知识蒸馏方法总结记录
Together_CZ的博客
09-15 1346
常见知识蒸馏方法总结记录
基于注意力机制超分辨率汇总
02-21 2723
1、Channel Attention and Multi-level Features Fusion for Single Image Super-Resolution ,2018 [arXiv]https://arxiv.org/pdf/1810.06935v1.pdf 人工智能图像超分辨率单图像超分辨率的通道注意和多级特征融合方法http://www.sohu.com/a/260019811_100177858 Channel Attention and Multi-level Featu...
深度学习（9）——模型的蒸馏、特征的蒸馏
weixin_41761357的博客
02-06 4633
目录前言一、蒸馏的目的二、蒸馏中的softmax三、蒸馏流程1.step2.step3.step4.总结： 前言 蒸馏就是把一个大模型变成一个相对小的模型 一、蒸馏的目的 Distill knowledge from bigger models 从大模型中学习知识 Use the distilled knowledge to guide the learning of smaller models 用学习到的知识指导学习一个更小的模型 Use smaller models to mimic the
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
热门推荐
Roaddd的博客
02-24 1万+
知识蒸馏综述
[深度学习入门]知识蒸馏
Guycynnnnn的博客
08-27 2665
知识蒸馏主要内容及demo代码
知识蒸馏概述及开源项目推荐
最新发布
@bangbang的博客
11-12 1037
​知识蒸馏，近年来越来越受到研究界的关注。大型深度神经网络取得了显著的成功，特别是在大规模数据的真实场景中，因为当考虑新数据时，过度参数化提高了泛化性能。然而，由于移动设备的算力和存储受限，在这些设备中部署DNN模型是一个巨大的挑战。为了解决这个问题，Bucilua等人（2006）首次提出了模型压缩，将信息从大模型或集成模型转移到训练的小模型中，并且不会显著导致精度下降。从大模型中学习小模型的方法后来作为知识蒸馏正式推广。​ 在知识蒸馏中，小型学生模型通常由大型教师模型监督。
基于IISTA方法的重建理论
06-07
IISTA（Iterative Iterative Soft-Thresholding Algorithm）方法是一种基于迭代软阈值算法的重建方法，用于解决稀疏信号重建问题。其基本思想是：通过迭代软阈值算法对测量数据进行处理，将信号中的噪声和干扰进行去除，从而得到更加精确的信号重建结果。 在IISTA方法中，首先对测量数据进行压缩和量化，然后使用稀疏表示方法对信号进行重建，最后通过迭代软阈值算法对信号进行处理。IISTA方法的主要优点是可以在保证重建精度的同时，降低算法的计算复杂度，提高算法的实时性和稳定性。 基于IISTA方法的重建理论主要涉及到信号的稀疏性和信号重建的数学模型。在信号稀疏性方面，IISTA方法利用信号在某些表示下具有稀疏性的特点，将信号表示为一个稀疏向量，从而实现信号的精确重建。在信号重建的数学模型方面，IISTA方法采用了迭代软阈值算法，通过对信号进行反复处理和调整，使得信号重建结果更加精确和稳定。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值