【AAAI 2021】使用线性可替换卷积来剪枝：Linearly Replaceable Filters for Deep Network Channel Pruning

最新推荐文章于 2022-06-20 13:23:36 发布
最新推荐文章于 2022-06-20 13:23:36 发布
阅读量350 收藏 2
点赞数
分类专栏： 深度学习-模型压缩（蒸馏剪枝量化） 文章标签： 计算机视觉 深度学习 神经网络 模型压缩 模型剪枝
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44936889/article/details/119460919
版权

【AAAI 2021】使用线性可替换卷积来剪枝：Linearly Replaceable Filters for Deep Network Channel Pruning

论文地址：

https://ojs.aaai.org/index.php/AAAI/article/view/16978/16785

代码地址：

https://github.com/jdg105/linearly-replaceable-filter-pruning

主要问题：

就是个新方法，主要特点是不需要剪枝后的微调

主要思路：

（这篇文章跟 FPGM 剪枝很像啊）

这篇文章提出了一种新的通道剪枝方法，线性可替换滤波器（LRF），表明通过其他卷积的线性组合可以近似的卷积是可替换的，并且提出了另一种权重补偿方法来支持 LRF 算法，即通过直接对权重值进行修改来有效地减少裁剪卷积所引起的输出差异（而且这个过程不需要任何额外的微调或学习）

在这里插入图片描述
如图，对于一个有

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BIT可达鸭
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
deep-blind-watermark-removal:[AAAI 2021]先分割再细化
05-07
此回购包含AAAI 2021论文的代码和结果： ， | | | （Google CoLab） 拟议的两阶段框架概述。 首先，我们提出了一个用于水印检测，删除和恢复的多任务网络SplitNet。 然后，我们提出了RefineNet，以使用预测的蒙版...
【AAAI 2021】全部接受论文列表（四）
yinizhilianlove的博客
01-14 5743
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
采用kerassurgeon对cnn网络进行剪枝
qq_27009517的博客
05-06 3471
原始模型的代码： #-*-coding:utf-8-*- from keras.datasets import mnist from keras.layers import * from keras.models import Model from keras.optimizers import Adam from kerassurgeon.operations import delete_la...
Soft Filter Pruning (SFP)——允许更新Pruned Filters的Channel Pruning策略
AI Flash
07-16 2874
"Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks"这篇文章首先强调了结构稀疏的优势，基于结构稀疏的channel pruning不需要特定存储格式和算法库的支持，能够充分利用成熟算法库或框架以运行剪枝后模型。文章同时提到传统的"hard filter pruning"依赖于预训练模型，并且直接删除pr...
Involution：空间不共享？可完全替代卷积的高性能算子 | CVPR 2021
晓飞的算法工程笔记
06-20 705
论文: Involution: Inverting the Inherence of Convolution for Visual Recognition  论文认为卷积操作有三个问题：  为了解决上述的问题，论文提出了与卷积有相反属性的操作involution，核参数在空间上面特异，而在通道上面共享，主要有以下两个优点：  一组involution核可表示为H∈RH×W×K×K×G\mathcal{H}\in \mathbb{R}^{H\times W\times K\times K\times G}H∈
AAAI 2021 | 在手机上实现19FPS实时的YOLObile目标检测
Paper weekly
12-31 633
作者｜机器之心编辑部来源｜机器之心本文提出了一套模型压缩和编译结合的目标检测加速框架，根据编译器的硬件特性而设计的剪枝策略能够在维持高 mAP 的同时大大提高运行速度，压缩了 14 倍...
HateXplain:我们可以使用解释来改善仇恨言论模型吗？ 论文被AAAI 2021接受
05-23
:magnifying_glass_tilted_right: HateXplain：可解释的仇恨语音检测的基准数据集[AAAI 2021接受] :party_popper: :party_popper: BERT检测仇恨言论从我们的数据与训练的理由可以。 一定要检查一下 :party_popper: :...
SemCKD:这是AAAI-2021论文的正式实施（带语义校准的跨层蒸馏）
05-24
带有语义校准的跨层蒸馏（AAAI-2021） 根据进行知识蒸馏的位置，可以将现有的特征蒸馏工作分为两类。 如下图所示，一种是特征图蒸馏，另一种是特征嵌入蒸馏。 SemCKD属于特征图蒸馏，并且与SOTA特征嵌入蒸馏...
lffont：LF-Font（具有局部样式表示和因子分解的少量快照字体生成）的官方PyTorch实施AAAI 2021
02-05
具有局部样式表示和分解的少量生成字体（AAAI 2021） LF-Font的PyTorch官方实施| Song Park 1 * ，Sanghyuk Chun 2 * ，Junbum Cha 2 ，Bado Lee 2 ，Hyunjung Shim 1 *平等贡献 1延世大学综合技术学院2 Clova AI ...
重温基于图的协同过滤：一种线性残差图卷积网络方法，AAAI2020.zip
最新发布
03-29
《重温基于图的协同过滤：一种线性残差图卷积网络方法》是AAAI2020年提出的一种创新的推荐系统模型。该模型利用了图卷积网络（Graph Convolutional Network, GCN）的技术，针对传统协同过滤算法的不足进行了优化，...
【图像CNN识别】Keras之父提出可替代Conv2D的深度可分离卷积——快速提升视觉识别模型
AI工匠Book
04-03 1286
《AI工匠BOOK》持续更新AI算法与最新应用，如果您感兴趣，欢迎关注AI工匠（AI算法与最新应用前沿研究）。 在Keras之父的深度学习书中，设计了一种让图像识别任务性能提高几个百分点的网络层，该网络层不仅可以替代 Conv2D ，并可以让模型更加轻量、用较少的可训练权重参数、速度更快，该网络层正是深度可分离卷积（depthwise separable convolution）层（ Sepa...
AAAI 2022 | 北大 & 阿里达摩院：基于对比学习的预训练语言模型剪枝压缩
Paper weekly
02-14 1098
近年来，预训练语言模型迅速发展，模型参数量也不断增加。为了提高模型效率，各种各样的模型压缩方法被提出，其中就包括模型剪枝。然而，现有的模型剪枝方法大多只聚焦于保留任务相关知识，而忽略了任务...
【知识蒸馏】开源：Yolov5模型知识蒸馏训练（可用于自己的数据集）
热门推荐
梁瑛平的博客
05-07 1万+
代码地址： https://github.com/Sharpiless/Yolov5-distillation-train-inference 蒸馏训练： python train_distill.py --weights yolov5s.pt \ --teacher weights/yolov5l_voc.pt --distill_ratio 0.001 \ -- teacher-cfg model/yolov5l.yaml --data data/voc.yaml \ --e
深度学习模型压缩算法综述（二）：模型剪枝算法
梁瑛平的博客
05-31 4545
深度学习模型压缩算法综述（二）：模型剪枝算法本文禁止转载联系作者：模型剪枝算法 ：L1(L2)NormFilterPruner：主要思想：修剪策略：微调策略：残差网络的处理：缺点：FPGMNormFilterPruner：主要思想：基本原理：几何中位数：信息估计中心：训练策略：SlimNormFilterPruner：主要思想：算法原理：模型剪枝工具 ：源码地址：工具介绍：pytorch-Autoslim2.01 Introduction 项目介绍① Architecture 系统架构2 Support 支
【开源】三行代码对pytorch模型进行剪枝压缩
梁瑛平的博客
04-24 2704
【开源】三行代码对pytorch模型进行剪枝压缩pytorch-Autoslim2.01 Introduction 项目介绍① Architecture 系统架构2 Support 支持度① Supported Models 支持的模型② Pruning Algorithm 剪枝算法3 Installation 安装4 Instructions 使用介绍Automatic Pruning 自动化剪枝5 Examples 使用案例①Resnet-cifar10Train 训练Pruning 剪枝Train 微
2021 目标检测知识蒸馏 SOTA：End-to-End Semi-Supervised Object Detection with Soft Teacher
梁瑛平的博客
10-23 2365
End-to-End Semi-Supervised Object Detection with Soft Teacher论文地址：代码地址：主要工作：具体实现：End-to-End Pseudo-Labeling Framework：Soft Teacher：Box Jittering：实验结果：消融实验： 论文地址： https://arxiv.org/abs/2106.09018 代码地址： https://github.com/microsoft/SoftTeacher 主要工作： 当前的半监督目标
【CVPR 2021】基于解耦特征的目标检测知识蒸馏：Distilling Object Detectors via Decoupled Features
梁瑛平的博客
07-24 2111
【CVPR 2021】基于解耦特征的目标检测知识蒸馏：Distilling Object Detectors via Decoupled Features论文地址：主要问题：主要思路：具体实现：基本符号：Decouple Intermediate Features in Distillation：Decouple Region Proposals in Distillation：实验结果：联系作者：我的公众号： 论文地址： https://arxiv.org/abs/2103.14475 主要问题： 与图像
【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching
梁瑛平的博客
08-05 1979
【AAAI 2021】基于Attention的知识蒸馏：Knowledge Distillation via Attention-based Feature Matching论文地址：代码地址：主要问题：主要思路：具体实现：实验结果： 论文地址： https://arxiv.org/abs/2102.02973 代码地址： github.com/clovaai/attention-feature-distillation 主要问题： 大多数基于特征的知识蒸馏都是手动连接教师和学生的中间特征，并通过预定义的链
【模型压缩】Yolov3目标检测模型蒸馏实验
梁瑛平的博客
04-30 1832
Yolov3目标检测模型蒸馏实验PaddleDetection知识蒸馏分类模型蒸馏：one-stage检测模型蒸馏：关于作者实验环境：划分数据集正常训练：L2蒸馏损失训练Fine-gained蒸馏损失训练注：我的公众号： PaddleDetection知识蒸馏 知识蒸馏主要是让让新模型（通常是一个参数量更少的模型）近似原模型(模型即函数)。注意到，在机器学习中，我们常常假定输入到输出有一个潜在的函数关系，这个函数是未知的：从头学习一个新模型就是从有限的数据中近似一个未知的函数。如果让新模型近似原模型，因为原
人工智能驱动药物发现：AAAI 2021教程解析
他们在国际人工智能会议AAAI 2021上分享了关于这一领域的最新进展，强调了AI如何在药物发现过程中发挥关键作用，尤其是在面对药物研发的高昂成本和漫长周期时。 药物发现过程面临诸多挑战，如成功率低下的传统方法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT可达鸭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值