《论文阅读》Structured Pruning Learns Compact and Accurate Models

已于 2022-07-06 12:30:02 修改
阅读量773 收藏
点赞数
分类专栏： NLP 文章标签： 剪枝 人工智能 机器学习 nlp 知识蒸馏
于 2022-05-15 21:44:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/124788846
版权
NLP 专栏收录该内容
89 篇文章 51 订阅 ¥29.90 ¥99.00
订阅专栏
本文介绍了如何结合剪枝和知识蒸馏技术来压缩模型，提出了一种名为Coarse- and Fine-grained Pruning (CoFi) 的方法。CoFi 在多头自注意力层和前馈神经网络层进行剪枝，并动态学习教师模型和学生模型之间的层映射关系，以优化蒸馏过程。实验表明，这种方法可以学到紧凑且精确的模型。
摘要由CSDN通过智能技术生成

Structured Pruning Learns Compact and Accurate Models

文章目录

前言

今天读了一篇论文《Structured Pruning Learns Compact and Accurate Models》，主要讲的是如何结合剪枝和蒸馏对模型进行压缩，以实现好的效果。

主流策略

目前压缩模型的主流的方法无非两种：剪枝（Pruning）和蒸馏（Distillation），下面分别说一下两者的优势和劣势。

剪枝

Advantages Disadvantages
显著地减少模型的大小 很难像蒸馏那样实现大幅度地加速

蒸馏

Advantages Disadvantages
显著地减少模型的大小 需要大量无标注数据
速度快
了解本专栏 订阅专栏 解锁全文
365JHWZGo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【论文阅读】Structured Pruning Learns Compact and Accurate Models
zoetu
09-23 646
作者提出的结构化剪枝方法CoFi在几乎没有太多精度损失的情况下，达到了10倍以上的加速比。同时，和常规的蒸馏做法相比，避免使用大量无标签数据预训练模型而导致训练成本过高的问题。
AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates
weixin_43998119的博客
02-25 784
这里写自定义目录标题AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates 论文阅读笔记/翻译摘要1. 介绍2. 相关工作结构和非结构化剪枝ADMMAutoML3. AC 框架3.1 自动过程的通用方法3.2 提升性能的三个根源3.3 核心剪枝算法3.4 权重纯化3.5 ⋆\star⋆自动压缩框架4. 实验和讨论合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何
(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 动态剪枝方法
jinyi763776890的博客
04-11 1063
Soft filter Pruning 软滤波器修剪(SFP)（2018）以结构化的方式应用了动态剪枝的思想，在整个训练过程中使用固定掩码的硬修剪将减少优化空间。允许在下一个epoch更新以前的软修剪滤波器，在此期间，将基于新的权重对掩码进行重组。例如，与复杂图像相比，包含清晰目标的简单图像所需的模型容量较小。Runtime Neural Pruning (RNP)（2017）静态模型不能通过对更容易识别和复杂的模式图像使用相同的权重来利用输入图像的不同属性，基于这个前提。
每天一篇论文 351/365 An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates
流浪机器人的博客
03-24 986
AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rates 摘要 结构化权值剪枝是DNNs中一种具有代表性的模型压缩技术，它可以减少存储和计算需求，加快推理速度。由于柔性超参数的数量庞大，需要一个自动确定超参数的过程。 本文提出了一种自动结构化剪枝框架AutoCompres...
论文解读《Structured Pruning for Deep Neural Networks with Adaptive Pruning Rate Derivation Based on Con》
qq_46031969的博客
12-26 797
论文解读《Structured Pruning for Deep Neural Networks with Adaptive Pruning Rate Derivation Based on Connection Sensitivity and Loss Function》
DSSM算法论文 Learning deep structured semantic models for web search using clickth
11-25
文本相似度 DSSM--Learning deep structured semantic models for web search using clickthrough data.pdf
论文研究-ROBUST STABILITY TEST FOR STATE-SPACE MODELS WITH STRUCTURED UNCERTAINTY.pdf
08-17
结构不确定状态空间模型的鲁棒稳定性，肖扬，，我们提出一种2-D面检验确定正常稳定的线状态空间模型在实结构扰动下的稳定性。设系统矩阵是线性依赖于参数。由于不确定系统的矩阵
Structured illumination microscopy and its new developments
02-22
Structured illumination microscopy (SIM), a type of new emerging super-resolution microscopy, doubles the spatial resolution by illuminating the specimen with a patterned light, and the sample and ...
Simultaneous Bayesian Sparse Approximation With Structured Sparse Models
02-11
Simultaneous Bayesian Sparse Approximation With Structured Sparse Models
Rapid bacteria identification using structured illumination microscopy and machine learning
02-23
Traditionally, optical microscopy is used to visualize the morphological features of pathogenic bacteria, of which the features are further used for the detection and identification of the bacteria....
Residual connection pruning
kangk_521的博客
09-30 290
Residual connection pruning Reference link. Residual connection 会在前后两层上逐点做加法运算，如果对各层独立做 structure pruning，可能会出现前后两级相加通道无法对齐的问题 Paper《Gate Decorator: Global Filter Pruning Method for Accelerating Deep ...
深度学习加速之剪枝、知识蒸馏
驽马十驾，功在不舍；锲而不舍，金石可镂。
07-28 1076
Pruning Techniques for Deep Neural Networks1.参考文献 1. structured pruning和unstructured pruning区别见下图： 参考文献 [1] https://pytorch.org/tutorials/intermediate/pruning_tutorial.html [2] https://opendatascience.com/what-is-pruning-in-machine-learning/ [3] https://j
如何把大模型和小模型相结合？这几种策略可以实现！（附相关论文）
最新发布
2401_82426425的博客
01-17 4348
简述：本文提出通过将模型集合中的知识提炼到单个模型中，可以显著改进大量使用的商业系统的声学模型，并引入了一种由一个或多个完整模型和许多专业模型组成的新型集成，这些模型学习区分完整模型混淆的细粒度类别。这就是大模型小模型相结合的几种策略，结合大模型和小模型的目的是要在资源消耗和模型性能之间寻找一个平衡点，大模型提供了丰富的信息和先进的特征表示，而小模型则使得模型部署在资源有限的环境中成为可能。使用教师模型的输出来训练学生模型，不是简单地使用标签信息，而是使学生模型的输出尽可能接近教师模型的输出。
【论文阅读笔记】Rethinking the value of Network Pruning
时光机 °的博客
07-08 2861
论文地址：https://arxiv.org/abs/1810.05270 论文总结   论文的中心思想其实就一句话：在通过Prune算法得到了压缩模型后，使用来自大网络的权重进行fine-tune，还不如直接随机初始化训练压缩模型。但需要注意的是，随机初始化训练压缩模型，需要比训练大模型使用更多的epochs，才能获得更好的效果。 论文摘要   作者通过数个网络和数据集的prune 测试，得到了三个观察和结论： 如果有一个确定的“压缩”模型，训练一个大网络不是必要的； 在prune算法中，我们所认为“重
ACL'22 | 陈丹琦提出CoFi模型剪枝，加速10倍，精度几乎无损
夕小瑶科技说
05-08 526
文 | jxyxiangyu我们都知道，为了让以深度神经网络为基础的模型更快地训练，人们提出了单机多卡、多机多卡等分布式训练的方式，那么，在模型预测推理阶段，有什么方法可以加速推理呢？遗憾的是，并行/分布式的加速方法并不适用于模型推理阶段。但这并不意味着没有方法可以加速模型的推理。既然多核的方式不行，可以考虑在单核上面的加速，比如减小模型大小（即模型压缩）。模型压缩可以分...
​ACL 2022 | 普林斯顿陈丹琦组：模型剪枝的加速方法
Paper weekly
05-07 532
©PaperWeekly 原创 ·作者 |BNDSBilly单位 |中科院软件所研究方向 |自然语言处理Abstract大规模预训练语言模型规模不断扩大，导致模型压缩受到了越来越多的关注。当下最主流的两种模型压缩方式是模型剪枝和模型蒸馏。前者可以显著降低模型大小，但很难像后者一样大幅提升运行速度；而后者的缺点在于需要大量 unlabeled data 和昂贵的成本...
#今日论文推荐#ACL‘22 | 陈丹琦提出CoFi模型剪枝，加速10倍，精度几乎无损
w1hsxn的博客
05-09 138
#今日论文推荐#ACL'22 | 陈丹琦提出CoFi模型剪枝，加速10倍，精度几乎无损 我们都知道，为了让以深度神经网络为基础的模型更快地训练，人们提出了单机多卡、多机多卡等分布式训练的方式，那么，在模型预测推理阶段，有什么方法可以加速推理呢？遗憾的是，并行/分布式的加速方法并不适用于模型推理阶段。 但这并不意味着没有方法可以加速模型的推理。既然多核的方式不行，可以考虑在单核上面的加速，比如减小模型大小（即模型压缩）。 模型压缩可以分为模型剪枝（pruning）和模型蒸馏（distillation）。
ACL 2022 主会长文论文分类整理
zenRRan的博客
04-21 2076
每天给你送来NLP技术干货！作者｜蒋锦昊机构｜中国人民大学高瓴人工智能学院方向 | 自然语言处理 来自 | RUC AI Box本文对ACL 2022接受列表中的的602篇主会长文论文，按不同的研究主题进行分类整理（分类标准参考 ACL 官方投稿主题），以供参考。导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language P...
Structured Relation Discovery using Generative Models
04-02
Structured relation discovery is the process of identifying and extracting relationships between entities in a given text corpus. This is a challenging task due to the complexity of natural language and the varied ways in which relationships can be expressed. Generative models offer a promising approach to structured relation discovery, as they can learn to generate realistic text that exhibits the desired relationships. Generative models are a type of machine learning model that can learn to create new examples of text by modeling the underlying probability distribution of the text. This can be achieved through various techniques, such as recurrent neural networks (RNNs), Markov chains, and probabilistic graphical models. These models are trained on a large corpus of text, and they learn to generate new text that is similar to the training data. To use generative models for structured relation discovery, we need to first define the relationships we are interested in. For example, we might want to identify relationships between people and organizations, or between products and their features. We can then train a generative model on a corpus of text that contains these relationships. The model will learn to generate text that exhibits the desired relationships, and we can use this to identify and extract relationships in new text. One popular approach to generative modeling for structured relation discovery is the use of conditional random fields (CRFs). CRFs are a type of probabilistic graphical model that can learn to predict the probability of a particular sequence of labels (i.e., the relationships between entities) given a sequence of observations (i.e., the text). By training a CRF on a corpus of text that contains the desired relationships, we can learn to predict the relationships in new text. Another approach to generative modeling for structured relation discovery is the use of RNNs. RNNs are a type of neural network that can learn to model the sequential nature of text. By training an RNN on a corpus of text that contains the desired relationships, we can learn to generate new text that exhibits the relationships. We can then use this generated text to identify and extract relationships in new text. In conclusion, generative models offer a promising approach to structured relation discovery, as they can learn to generate realistic text that exhibits the desired relationships. By training these models on a corpus of text that contains the relationships we are interested in, we can use them to identify and extract relationships in new text.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值