2016AAAI_Face model compression by distilling knowledge from neurons (商汤)

最新推荐文章于 2024-04-19 16:00:15 发布
最新推荐文章于 2024-04-19 16:00:15 发布
阅读量540 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yimiyangguang1994/article/details/80775988
版权

论文地址    http://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/download/11977/12130

总结

    代替Distilling the knowledge in a neural network (Hinton 2015)中作为知识的soft target，从隐藏层的神经元学习知识，同时考虑到神经元可能包含噪声或无关信息，需要对神经元进行选择，经过选择之后的特征作为训练学生网络的回归对象

思考：什么是有用的知识？

分两步，首先对teacher network的神经元进行选择，然后将选择之后神经元的输出作为监督信息来指导student network的训练，问题：是否要求学生网络的输出特征等于老师网络选择之后的特征图通道数和大小？

问题2：首先对老师网络进行剪枝，然后利用剪枝后神经元的输出指导学生网络训练？

知识设计的目的or本文针对的问题

在人脸识别领域，类别维数高，利用softmax输出（类别概率）作为知识的模型难收敛

 

主要贡献

1，更紧凑的监督信息加速收敛——最后一个fc层的输出不要求是N维，N表示类别数，只需要等于选择之后的神经元个数

2，揭露了人脸识别中的三个观察结果，由此设计了一种有效的神经元选择方式

 

为什么要进行神经元选择？

三个观察结果：

1，人脸识别任务

最低0.47元/天 解锁文章
yimiyangguang1994
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【深度学习注意力机制系列】—— CBAM注意力机制（附pytorch实现）
qq_43456016的博客
08-09 3万+
CBAM旨在克服传统卷积神经网络在处理不同尺度、形状和方向信息时的局限性。通道注意力和空间注意力。通道注意力有助于增强不同通道的特征表示，而空间注意力有助于提取空间中不同位置的关键信息。总之，CBAM模块通过自适应地学习通道和空间注意力权重，以提高卷积神经网络的特征表达能力。通过将通道注意力和空间注意力结合起来，CBAM模块能够在不同维度上捕获特征之间的相关性，从而提升图像识别任务的性能。
注意力机制（Attention Mechanism）-CBAM
Aaaa_ZZZ的博客
09-07 1万+
注意力机制
【注意力机制】CBAM详解（文末附代码）
热门推荐
Roaddd的博客
03-10 14万+
论文题目：《CBAM: Convolutional Block Attention Module》 论文地址：https://arxiv.org/pdf/1807.06521.pdf 1. 前言        论文（2018年）提出了一种轻量的注意力模块( CBAM，Convolutional Block Attention Module )，可以在通道和空间维度上进行 Attention 。论文在 ResNet 和 MobileNet
即插即用的涨点模块之注意力机制（CBAMAttention）详解及代码，可应用于检测、分割、分类等各种算法领域
最新发布
qq_51511878的博客
04-19 5527
CE模块通常只注意了通道特征，但在视觉任务中，空间任务通常更为重要，是不可忽略的，因此CBAM将通道注意力机制与空间注意力机制进行串联，充分关注特征信息。什么是空间特征？在深度学习中，空间特征是指描述输入数据在空间维度上的特征信息。对于图像数据而言，空间特征可以涵盖多种信息，包括边缘、角点、纹理、颜色等。这些特征信息可以帮助模型理解图像中不同区域的内容和结构，从而实现诸如目标检测、图像分割、图像分类等任务。
CBAM——即插即用的注意力模块（附代码）
Billie使劲学的博客
04-06 11万+
论文：CBAM: Convolutional Block Attention Module 代码：GitHub - Jongchan/attention-module: Official PyTorch code for "BAM: Bottleneck Attention Module (BMVC2018)" and "CBAM: Convolutional Block Attention Module (ECCV2018)" 前言 CBAM（Convolutional Block At..
CBAM的讲解
weixin_41655296的博客
09-18 1万+
前言： 通道注意力让网络 关注图像“是什么”，而空间注意力则让网络关注图像 中物体“在哪“ 1.概念 CBAM是一种简单而有效的卷积神经网络注意力模块。 在卷积神经网络任意给定一个中间特征图，CBAM将注意力映射 沿特征图的通道与空间两个独立的维度进行注入 然后将注意力乘以输入特征映射，对输入的特征图进行自适应特征细化。 因为CBAM是一种端到端的通用模块，它可以无缝的集成到CNNs中，并且可以与基本CNNs一起端到端的训练。 2 具体过程 CBAM 中的通道注意力和空间注意力结构如下图所示
注意力模型CBAM
年轻即出发，
08-03 8万+
论文：CBAM: Convolutional Block Attention Module    Convolutional Block Attention Module (CBAM) 表示卷积模块的注意力机制模块。是一种结合了空间（spatial）和通道（channel）的注意力机制模块。相比于senet只关注通道（channel）的注意力机制可以取得更好的效果。   基于传统VGG结构...
注意机制(CBAM)理解
Tc、zyh的博客
10-13 2万+
论文题目：《CBAM: Convolutional Block Attention Module》 论文地址：https://arxiv.org/pdf/1807.06521.pdf 原文链接：https://blog.csdn.net/Roaddd/article/details/114646354 参考：https://blog.csdn.net/kangyi411/article/details/78969642 文章目录一、前言二、注意力机制(CBAM)2.1 Channel Attention M
[ 注意力机制 ] 经典网络模型2——CBAM 详解与复现
A_John 的博客
04-19 4万+
[ 注意力机制 ] 经典网络模型2——CBAM 详解与复现 1、Convolutional Block Attention Module 2、CBAM 详解 Channel Attention Module Spatial Attention Module 3、CBAM 复现 简称 ``CBAM``，2018年 提出的一种新的 *卷积注意力模块* ； 对前馈卷积神经网络 是一个 简单而有效的 注意力模块 ； 因为它的轻量级和通用性，可以无缝集成到任何CNN网络当中 ；...
CBAM（Convolutional Block Attention Module）卷积注意力模块用法及代码实现
ywfwyht的博客
12-14 3622
通道注意力机制（Channel Attention Module）是将特征图在通道维度不变，压缩空间维度，得到一个一维矢量后再进行操作。1的大小，然后经过两层共享全连接层（shared MLP）中，它先将通道数压缩为原来的1/r（Reduction，减少率）倍，再扩张到原通道数，再将这两个输出进行elementwise逐元素相加操作，经过sigmoid激活，最终即可获得通道注意力模块的特征图。在空间注意力模块中，是将通道注意力模块输出的特征图作为输入对通道进行压缩。该模块关注的是目标的位置信息。
注意力机制——CBAM原理详解及源码解析
秃头小苏的博客
03-28 3519
hello，大家好，我是小苏👦🏽👦🏽👦🏽​ 好久没有更新博客啦，今天来更一期注意力机制的文章吧！！！🌱🌱🌱在之前，我已经为大家介绍了一种最常见的注意力机制——SENET，感兴趣的可以点击☞☞☞了解详情。当然了，我也为大家介绍过目前很火的Transformer注意力机制，足足写了1W+字，自认为写的还是比较清晰，感兴趣的也可以点击☞☞☞了解更多信息。​ 今天我也为大家介绍一种非常常见的注意力机制——CBAM注意力机制。CBAM全称为，可以翻译成卷积块的注意模型。CBAM论文📩📩📩。
【深度学习】CBAM注意力机制解析与pytorch代码实现
showy0的博客
03-27 1419
CBAM注意力机制解析与pytorch代码实现
【卷积神经网络系列】十八、CBAM
traveller的博客
09-28 1012
CBAM
CBAM解析及代码（Pytorch）
Ethan_Rich的博客
03-23 1501
CBAM，全称Convolutional Block Attention Module，是一种注意力机制模块，用于增强卷积神经网络（CNN）的特征表达能力。该模块由通道注意力模块和空间注意力模块两部分组成，能够分别关注输入特征图的通道信息和空间信息，进而提升模型对于重要特征的关注度。在通道注意力模块中，CBAM通过全局平均池化和最大池化操作捕获通道间的依赖关系，生成两个通道描述子。这两个描述子随后通过共享的全连接层和ReLU激活函数进行变换，再经过Sigmoid函数得到通道注意力权重。
Face Model Compression by Distilling Knowledge from Neurons论文初读
m0_37665984的博客
11-26 394
目录 摘要 引言 方法 通过选择后的神经元训练学生网络 神经元的属性判别性定义（关系到上边两个函数如何定义） Teacher和Student的网络结构 实验 测试方法 压缩T1模型 压缩模型T2 压缩集成模型T1 结论 摘要 对KD进行改进，不用soften的标签作为监督信息，而是用softmax前的神经元作为监督信息 利用学到的人脸特征的...
【CBAM】Convolutional Block Attention Module-即插即用的注意力模块，可多方面改进
向上生长的程序媛的博客
02-21 1705
详解经典CBAM模块的结构和具体应用场景。含论文下载和源码下载地址。
机器人抓取系列——CBAM注意力机制
toCVer的博客
06-14 6923
注意力机制
CBAM是？
weixin_44943389的博客
10-29 251
CBAM 被广泛用于计算机视觉任务中，特别是在图像分类、目标检测和语义分割等领域。CBAM 通过这两个注意力机制相结合，使得网络能够根据当前任务和输入图像的特性，动态地调整特征的提取方式，从而提升模型的性能。CBAM（Convolutional Block Attention Module）是一种用于深度学习中的注意力机制模块。CBAM 主要用于增强卷积神经网络（CNN）对不同特征通道和空间位置的关注程度，从而提升模型对复杂特征的提取能力。CBAM 主要包含两个关键的注意力机制：通道注意力和空间注意力。
注意力机制--CBAM
renxingshen2022的博客
11-10 4391
CBAM是轻量级注意力机制模块，不仅参数量和计算量小，而且能即插即用。
AAAI2023 Oral论文亮点：Diversity & Inclusion，Safe AI
"AAAI2023年会议论文集主要涵盖了Oral演讲的部分，包含了多样性和包容性、IAAI、EAAI、AI的社会影响专题以及安全和鲁棒的AI专题。会议日程详细列出了各个时段的主题和演讲者，涉及到人工智能的不同应用领域，如艺术...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值