Face Model Compression by Distilling Knowledge from Neurons论文初读

最新推荐文章于 2019-11-28 15:00:10 发布
最新推荐文章于 2019-11-28 15:00:10 发布
阅读量429 收藏 1
点赞数
文章标签： 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37665984/article/details/103252848
版权
该论文提出了一种新的知识蒸馏方法，通过选择具有判别性的神经元来训练学生网络，以实现人脸识别模型的高效压缩。研究发现，教师模型的顶层神经元包含与人脸识别相关的重要信息，但存在非相关性和过拟合问题。通过对神经元的属性判别性定义，论文提出了一种选择方法，使得学生模型在压缩率高达51.6X的同时，推理速度提升了90倍。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

摘要

引言

方法

  通过选择后的神经元训练学生网络

  神经元的属性判别性定义（关系到上边两个函数如何定义）

  Teacher和Student的网络结构

实验

  测试方法

  压缩T1模型

  压缩模型T2

  压缩集成模型T1

结论

摘要

对KD进行改进，不用soften的标签作为监督信息，而是用softmax前的神经元作为监督信息

利用学到的人脸特征的必备的特性，提出了一种选择和人脸特征相关性高的特征的方法（提出选择的方法）、

用这种选择的方法加上监督信息的改进，模型可以达到51.6X的压缩率，推理时间加快了90倍

引言

  • 之前做法总结

用softmax函数后的概率值作为监督信息；

用softmax之前的零均质化后神经元的值作为监督信息；

有人指出前两种做法都存在极限输出，一个是1一个是正无穷，提出了soften标签作为监督信息；

但是在人脸识别中这些做法不收敛；

  • 本论文的出发点

最后隐藏层的神经元的信息，和softmax后的信息一样多，但是更加的紧凑；

这些信息中含有跟人脸识别不相关的信息，所以需要剔除，剔除的方法来自于以下三个观察现象；

  观察现象一：将神经元看成是人脸属性上的分布代表，有的神经元是身份相关的属性（IA），有的是身份不相关的（NA）

  观察现象二：有一部分神经元是对NA敏感的，还有一些是IA与NA混杂敏感的，这表明神经元不是完全可分解的，而且这是网络对人脸识别任务的过拟合现象

  观察现象三：有些神经元是与这所有的属性无关的，一直被抑制的，这属于噪音

  • 本论文的贡献

高维度的soft标签是难以拟合的，而用更紧凑的监督信息可以帮助更快地收敛；

发现了三个观察现象

提出了一种有效的神经元的选择方法

方法

  通过选择后的神经元训练学生网络

  • 网络损失函数

fi表示teacher网络中选择的神经元

g表示从输入Ii到特征的函数映射

W表示student网络的参数

  • 如何选择出fi

最低0.47元/天 解锁文章
待墨痕干
关注
2016AAAI_Face model compression by distilling knowledge from neurons (商汤)
yimiyangguang1994的博客
06-22 573
论文地址    http://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/download/11977/12130 总结     代替Distilling the knowledge in a neural network (Hinton 2015)中作为知识的soft target，从隐藏层的神经元学习知识，同时考虑到神经元可能包含噪声或无关信息...
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5204
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
Face Model Compression by Distilling Knowledge from Neurons 论文理解
技术博客
06-11 700
引入一. 背景为保证人脸识别技术的精度要求，需要大而复杂的单个或者组合的深度神经网络实现。该技术欲迁移至移动终端与嵌入式设备中。二. 解决方法运用模型压缩技术，用小的网络去拟合大量数据。大型 teacher network的知识作为监督，训练一个小而紧凑的student network，运用到了 domain knowledge。模型蒸馏技术一. 《Distilling the Knowledge...
Distillation论文总结（3）Face Model Compression by Distill Knowledge from Neurons
volga_chen的博客
12-18 837
论文目录Face Model Compression by Distill Knowledge from Neurons引言人脸模型压缩用神经元选择算法训练学生网络神经元的特征区分能力 Face Model Compression by Distill Knowledge from Neurons 目前一流的人脸识别都是用深度神经网络或者是其集成系统，然而，昂贵的计算成本阻碍了其实际应用。我们提出...
通过提取神经元知识实现人脸模型压缩：MobileID可在移动设备上快速运行
weixin_34291004的博客
08-01 224
MobileID 是一种非常快速的人脸识别系统，其可以从 DeepID2 中提取知识。给定一张被检测和已对齐的人脸图像，该软件可以输出一个低维的人脸表征（face representation），该表征可以可靠地保留其身份信息。更多细节可参考我们的论文《Face Model Compression by Distilling Knowledge from...
aaai16-face-model-compression.pdf
07-03
### 知识点一：模型压缩(Model Compression) #### 概述 本文提出了一种针对人脸识别系统的模型压缩技术，旨在减少深度神经网络（DNN）在移动设备和嵌入式系统上的部署成本。随着大规模训练数据的出现，DNN在人脸...
Knowledge Distillation
zhangjf26的博客
08-07 5167
从模型压缩的角度调查了有关蒸馏相关的进展。与视觉应用型论文不同模型压缩的论文开源的比例并不多，相比较之下蒸馏相关工作算是开源比例大的。下面主要从是否开源或实现两方面按照发表时间列出相关论文和实现。并在有源码实现了论文中做了进一步相关方法的调查。 ##一、知识蒸馏相关论文和进展survey：（开源或有第三方实现） 2014-NIPS-Do Deep Nets Really Need to be...
Deep Model Compression: Distilling Knowledge from Noisy Teachers论文初读
m0_37665984的博客
11-27 422
目录 方法 加入扰动 与正则化的关系 方法流程 对比实验 固定sigma，改变alpha 在teacher中加噪声 VS 在student中加噪声 其他实验不重要，略 方法 加入扰动 如公式2，在输出层的logits（softmax激活之前）上加入扰动 对一个teacher的扰动不仅可以模拟多个teacher，而且会在loss中加入...
"Do Deep Nets Really Need to be Deep?"阅读笔记
ubunfans的专栏
06-13 3342
这篇文章的主要是思路就是使用一个shallow model 去模仿deep model，使shallow model达到deep model的精度。从原始训练样本训练一个shallow net达到deep net相同的精度是很困难的事情，paper提出了shallow net 使用deep net的结果作为标签。1作者在第一部分提出了几个问题值得思考一下，给定一个1M 训练样本，网络A使用只有一个隐
Distilling the Knowledge in a Neural Network[论文阅读笔记]
热门推荐
guojc学习历程
03-07 1万+
网络压缩，distilled
蒸馏法——人脸识别
Eva_Hua的专栏
10-24 1688
1，Model Distillation with Knowledge Transfer from Face Classification to Alignment and Verification 1）初始化策略： 1.1）使用softmax损失先进行预训练优化， 2) 对于非分类任务的蒸馏法损失函数如下所示： 其中第一项是特定任务的损失函数，第三项是特定任务的蒸馏损失项，第二项...
A Gift from Knowledge Distillation: Fast Optimization,Network Minimization and Transfer Learning论文初读
m0_37665984的博客
11-28 2543
目录 摘要 引言 相关工作 知识迁移 快速优化 迁移学习 方法 提出观点 数学表达式 FSP Matrix的损失 学习步骤 实验 快速优化 性能的提升 迁移学习 结论 摘要 提出了将蒸馏的知识看作成一种解决问题的流，它是在不同层之间的feature通过内积计算得到的 这个方法有三个好处： student网络可以学的...
人脸识别[一] 算法和数据库总结
weixin_NineDays66
06-11 2563
Face-ResourcesFollowing is a growing list of some of the materials I found on the web for research on face recognition algorithm.Papers1. [DeepFace](https://www.cs.toronto.edu/~ranzato/publications/ta...
Distilling the Knowledge in a Neural Network 论文笔记
Reborn的博客
06-10 9590
论文：https://arxiv.org/abs/1503.02531一、简介    对于几乎所有的机器学习算法，一种简单的提高性能的方法，就是使用同样的数据集训练多个不同的模型，测试时取他们的各自预测值的加权平均作为整个算法的最终输出结果。然而，这样做的缺点也是非常明显的，多个模型的集合体积庞大，且运算需求极大，难以部署在大量用户的机器上。    因此，本文主要做出了以下两点贡献：提出一种知识蒸...
基于知识提取的方法训练一个小网络
shuzfan的专栏
12-23 5007
Hinton大牛的文章，关于如何得到一个又小又好的网络的。文章链接《Distilling the Knowledge in a Neural Network》 —————————— 背景介绍 —————————— 大家都想要得到一个又好又快的模型，但是实际情况往往是模型越小则性能越差。文献[1]中提出了一种策略：大模型学习到的知识可以通过“提取”的方法转移到一个小模型上 。所以，本文的宏观策略就是
拟阵约束下最大化子模函数的模型及其算法的一种熵聚类方法.pdf
04-26
拟阵约束下最大化子模函数的模型及其算法的一种熵聚类方法.pdf
电力市场领域中基于CVaR风险评估的省间交易商最优购电模型研究与实现
04-26
内容概要：本文探讨了在两级电力市场环境中，针对省间交易商的最优购电模型的研究。文中提出了一个双层非线性优化模型，用于处理省内电力市场和省间电力交易的出清问题。该模型采用CVaR（条件风险价值）方法来评估和管理由新能源和负荷不确定性带来的风险。通过KKT条件和对偶理论，将复杂的双层非线性问题转化为更易求解的线性单层问题。此外，还通过实际案例验证了模型的有效性，展示了不同风险偏好设置对购电策略的影响。 适合人群：从事电力系统规划、运营以及风险管理的专业人士，尤其是对电力市场机制感兴趣的学者和技术专家。 使用场景及目标：适用于希望深入了解电力市场运作机制及其风险控制手段的研究人员和技术开发者。主要目标是为省间交易商提供一种科学有效的购电策略，以降低风险并提高经济效益。 其他说明：文章不仅介绍了理论模型的构建过程，还包括具体的数学公式推导和Python代码示例，便于读者理解和实践。同时强调了模型在实际应用中存在的挑战，如数据精度等问题，并指出了未来改进的方向。
MATLAB/Simulink平台下四机两区系统风储联合调频技术及其高效仿真实现
最新发布
04-26
内容概要：本文探讨了在MATLAB/Simulink平台上针对四机两区系统的风储联合调频技术。首先介绍了四机两区系统作为经典的电力系统模型，在风电渗透率增加的情况下，传统一次调频方式面临挑战。接着阐述了风储联合调频技术的应用，通过引入虚拟惯性控制和下垂控制策略，提高了系统的频率稳定性。文章展示了具体的MATLAB/Simulink仿真模型，包括系统参数设置、控制算法实现以及仿真加速方法。最终结果显示，在风电渗透率为25%的情况下，通过风储联合调频，系统频率特性得到显著提升，仿真时间缩短至5秒以内。 适合人群：从事电力系统研究、仿真建模的技术人员，特别是关注风电接入电网稳定性的研究人员。 使用场景及目标：适用于希望深入了解风储联合调频机制及其仿真实现的研究人员和技术开发者。目标是掌握如何利用MATLAB/Simulink进行高效的电力系统仿真，尤其是针对含有高比例风电接入的复杂场景。 其他说明：文中提供的具体参数配置和控制算法有助于读者快速搭建类似的仿真环境，并进行相关研究。同时强调了参考文献对于理论基础建立的重要性。
model-compression
07-28
模型压缩是指通过一系列技术手段来减小神经网络模型的尺寸和计算复杂度，以便在资源受限的设备上进行部署和推理。其中，知识蒸馏是一种常用的模型压缩方法之一。知识蒸馏的过程分为两个阶段：原始模型训练和精简模型训练。在原始模型训练阶段，训练一个复杂的"Teacher模型"，它可以由多个分别训练的模型集成而成，对输入进行分类并输出相应类别的概率值。在精简模型训练阶段，训练一个参数量较小、模型结构相对简单的"Student模型"，它同样可以对输入进行分类并输出相应类别的概率值。通过将"Teacher模型"的知识转移到"Student模型"中，"Student模型"可以在尺寸和计算复杂度上得到压缩，同时保持较高的性能。除了知识蒸馏，模型压缩的其他方法还包括网络剪枝、量化和低秩分解等。另外，神经网络二值化是一种更为极致的模型压缩方法，它将所有的权值用二进制数表示，从而大大减小模型尺寸。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* [模型压缩（Model compression）](https://blog.csdn.net/weixin_38072029/article/details/111357992)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [深度学习网络压缩模型方法总结(model compression)](https://blog.csdn.net/weixin_30617737/article/details/98228382)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值