【论文阅读】Structured Pruning Learns Compact and Accurate Models

已于 2022-09-26 15:08:36 修改
阅读量853 收藏
点赞数
分类专栏： 论文阅读 深度学习模型压缩
于 2022-09-23 23:13:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43800119/article/details/126990544
版权
论文提出了结构化剪枝方法CoFi，用于优化transformer模型，实现高加速比的同时保持模型精度。CoFi采用粗粒度和细粒度剪枝策略，结合逐层蒸馏，动态建立层映射，有效压缩模型，尤其在FNN层展现显著效果。实验显示CoFi在相同加速比下性能优于TinyBERT。
摘要由CSDN通过智能技术生成

本文目录

论文信息

在这里插入图片描述

作者：Mengzhou Xia, Zexuan Zhong, Danqi Chen

发表单位：Princeton University 普林斯顿大学

会议：ACL2022

发表时间： Fri, 1 Apr 2022

论文地址：https://arxiv.org/abs/2204.00408

开源代码：https://github.com/princeton-nlp/cofipr

了解本专栏 订阅专栏 解锁全文 超级会员免费看
zoetu
关注
专栏目录
订阅专栏
《论文阅读》Structured Pruning Learns Compact and Accurate Models
MyHeartWillGoOn
05-15 780
Structured Pruning Learns Compact and Accurate Models 文章目录Structured Pruning Learns Compact and Accurate Models前言主流策略剪枝蒸馏本文模型主要思路为什么背景多头自注意力机制层（MHA）前馈神经网络层（FFN）具体实现Coarse- and Fine-grained Pruning（CoFi）剪枝MHA和FFN层剪枝隐藏层Distillation to Pruned ModelsDistillati
AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates
weixin_43998119的博客
02-25 1043
这里写自定义目录标题AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates 论文阅读笔记/翻译摘要1. 介绍2. 相关工作结构和非结构化剪枝ADMMAutoML3. AC 框架3.1 自动过程的通用方法3.2 提升性能的三个根源3.3 核心剪枝算法3.4 权重纯化3.5 ⋆\star⋆自动压缩框架4. 实验和讨论合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 动态剪枝方法
jinyi763776890的博客
04-11 1105
Soft filter Pruning 软滤波器修剪(SFP)（2018）以结构化的方式应用了动态剪枝的思想，在整个训练过程中使用固定掩码的硬修剪将减少优化空间。允许在下一个epoch更新以前的软修剪滤波器，在此期间，将基于新的权重对掩码进行重组。例如，与复杂图像相比，包含清晰目标的简单图像所需的模型容量较小。Runtime Neural Pruning (RNP)（2017）静态模型不能通过对更容易识别和复杂的模式图像使用相同的权重来利用输入图像的不同属性，基于这个前提。
每天一篇论文 351/365 An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates
流浪机器人的博客
03-24 1030
AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates 摘要 结构化权值剪枝是DNNs中一种具有代表性的模型压缩技术，它可以减少存储和计算需求，加快推理速度。由于柔性超参数的数量庞大，需要一个自动确定超参数的过程。 本文提出了一种自动结构化剪枝框架AutoCompres...
论文解读《Structured Pruning for Deep Neural Networks with Adaptive Pruning Rate Derivation Based on Con》
qq_46031969的博客
12-26 881
论文解读《Structured Pruning for Deep Neural Networks with Adaptive Pruning Rate Derivation Based on Connection Sensitivity and Loss Function》
ACL'22 _ 陈丹琦提出CoFi模型剪枝，加速10倍，精度几乎无损.pdf
08-12
论文标题为《Structured Pruning Learns Compact and Accurate Models》，该方法针对的是原模型（教师模型）为 transformer 架构的模型压缩。 CoFi 模型剪枝方法的背景介绍： 在模型预测推理阶段，人们提出了单机...
CVPR2017论文摘要汇总
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
CVPR 2019 论文汇总（按方向进行论文划分）
热门推荐
鬼刀
05-28 3万+
cvpr2019 accepted papers title（官方分类，需科学前往） Github论文汇总链接（欢迎star) 论文PDF下载（更新中，提取码：osvy） 论文解读汇总 目录：(也欢迎大家推荐自己的CVPR2019文章，以下篇幅较大，分类如有错误欢迎留言指出和补充谢谢~） 检测38分割50分类、识别19跟踪20人脸12人体姿态估计/手...
如何把大模型和小模型相结合？这几种策略可以实现！（附相关论文）
最新发布
2401_82426425的博客
01-17 4711
简述：本文提出通过将模型集合中的知识提炼到单个模型中，可以显著改进大量使用的商业系统的声学模型，并引入了一种由一个或多个完整模型和许多专业模型组成的新型集成，这些模型学习区分完整模型混淆的细粒度类别。这就是大模型小模型相结合的几种策略，结合大模型和小模型的目的是要在资源消耗和模型性能之间寻找一个平衡点，大模型提供了丰富的信息和先进的特征表示，而小模型则使得模型部署在资源有限的环境中成为可能。使用教师模型的输出来训练学生模型，不是简单地使用标签信息，而是使学生模型的输出尽可能接近教师模型的输出。
ACL'22 | 陈丹琦提出CoFi模型剪枝，加速10倍，精度几乎无损
夕小瑶科技说
05-08 535
文 | jxyxiangyu我们都知道，为了让以深度神经网络为基础的模型更快地训练，人们提出了单机多卡、多机多卡等分布式训练的方式，那么，在模型预测推理阶段，有什么方法可以加速推理呢？遗憾的是，并行/分布式的加速方法并不适用于模型推理阶段。但这并不意味着没有方法可以加速模型的推理。既然多核的方式不行，可以考虑在单核上面的加速，比如减小模型大小（即模型压缩）。模型压缩可以分...
#今日论文推荐#ACL‘22 | 陈丹琦提出CoFi模型剪枝，加速10倍，精度几乎无损
w1hsxn的博客
05-09 144
#今日论文推荐#ACL'22 | 陈丹琦提出CoFi模型剪枝，加速10倍，精度几乎无损 我们都知道，为了让以深度神经网络为基础的模型更快地训练，人们提出了单机多卡、多机多卡等分布式训练的方式，那么，在模型预测推理阶段，有什么方法可以加速推理呢？遗憾的是，并行/分布式的加速方法并不适用于模型推理阶段。 但这并不意味着没有方法可以加速模型的推理。既然多核的方式不行，可以考虑在单核上面的加速，比如减小模型大小（即模型压缩）。 模型压缩可以分为模型剪枝（pruning）和模型蒸馏（distillation）。
​ACL 2022 | 普林斯顿陈丹琦组：模型剪枝的加速方法
Paper weekly
05-07 544
©PaperWeekly 原创 ·作者 |BNDSBilly单位 |中科院软件所研究方向 |自然语言处理Abstract大规模预训练语言模型规模不断扩大，导致模型压缩受到了越来越多的关注。当下最主流的两种模型压缩方式是模型剪枝和模型蒸馏。前者可以显著降低模型大小，但很难像后者一样大幅提升运行速度；而后者的缺点在于需要大量 unlabeled data 和昂贵的成本...
ACL 2022 主会长文论文分类整理
zenRRan的博客
04-21 2123
每天给你送来NLP技术干货！作者｜蒋锦昊机构｜中国人民大学高瓴人工智能学院方向 | 自然语言处理 来自 | RUC AI Box本文对ACL 2022接受列表中的的602篇主会长文论文，按不同的研究主题进行分类整理（分类标准参考 ACL 官方投稿主题），以供参考。导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language P...
Rethinking the value of network pruning
lighting
11-20 4759
最近将High-way的思想用到了步态识别上，我觉得应该算是一个创新点，但是小伙伴建议我读一读Rethinking the value of resnet ,或许会对我有所启发。所以今天就来拜读一下。主要是翻译的形式，一段英文一段中文。 Abstract Network pruning is widely used for reducing the heavy computational cost...
剪枝简述（模型压缩加速篇）
栋哥修炼日记
05-07 2186
模型压缩： 剪枝（Pruning） 量化（Quantization） 低秩分解（Low-rank factorization） 知识蒸馏（Knowledge distillation） 剪枝 为什么可以剪枝 深度神经网络可分为训练和推理两个阶段。训练阶段是根据数据学习模型中的参数（对神经网络来说主要是网络中的权重）；推理阶段中将新数据喂进模型，经过计算得出结果。而过参数化是指训练阶段我们需要大量的参数来捕捉数据中的微小信息，而一旦训练完成到了推理阶段，我们并不需要这么多的参数。 这样的假设就支持我们可
模型压缩之网络剪枝（Network Pruning）篇
行云
09-09 5235
1. 背景 今天，深度学习已成为机器学习中最主流的分支之一。它的广泛应用不计其数，无需多言。但众所周知深度神经网络（DNN）有个很大的缺点就是计算量太大。这很大程度上阻碍了基于深度学习方法的产品化，尤其是在一些边缘设备上。因为边缘设备大多不是为计算密集任务设计的，如果简单部署上去则功耗、时延等都会成为问题。即使是在服务端，更多的计算也会直接导致成本的增加。人们正在从各个角度试图克服这个问题，如这几年如火如荼的各处神经网络芯片，其思路是对于给定的计算任务用专用硬件加速。而另一个思路是考虑模型中的计算是不是都
嵌入式/压缩神经网络相关工作汇总
dlfxjc2的博客
01-26 3933
原文链接：https://www.ctolib.com/ZhishengWang-Embedded-Neural-Network.html Papers Reading List. This is a collection of papers aiming at reducing model sizes or the ASIC/FPGA accelerator for Machin
Structured Relation Discovery using Generative Models
04-02
Structured relation discovery is the process of identifying and extracting relationships between entities in a given text corpus. This is a challenging task due to the complexity of natural language ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zoetu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值