【论文阅读】1_A Survey on Model Compression and Acceleration for Pretrained Language Models

已于 2023-05-06 20:51:02 修改
阅读量294 收藏
点赞数
分类专栏： 论文阅读 深度学习模型推理加速 文章标签： 论文阅读 语言模型 深度学习
于 2023-04-26 22:04:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43800119/article/details/130395383
版权
本文主要探讨了预训练语言模型的模型压缩和加速技术，包括权重共享、低秩分解、修剪、量化等方法，旨在减少计算量、推理时间和碳足迹，提高效率和模型的可部署性。论文还讨论了忠诚/保真度、鲁棒性等评估指标，并强调了当前面临的挑战和未来研究方向。
摘要由CSDN通过智能技术生成

前言

个人笔记，没有深入的思考，可能没有参考可能。

论文信息

A Survey on Model Compression and Acceleration for Pretrained Language Models

发表单位：University of California, San Diego

作者：Canwen Xu, Julian McAuley

发表会议： AAAI 2023

论文地址：http://arxiv.org/abs/2202.07105

发布时间：2022.2.25(v1) 2022.11.29(v2)

ABS

  1. 高能源成本和较长的推理延迟阻碍了基于transformer的预训练语言模型 （PLM） 得到更广泛的引用，包括边缘计算和移动计算。

  2. 高效的NLP研究旨在综合考虑NLP整个周期包括数据准备、模型训练和推理的计算量，时间和碳排放。本文重点关注推理阶段，并回顾了预训练语言模型的模型压缩和加速的当前进展状况，包括基准、指标和方法。

INTRO

（技术方面）PLMs的高计算量消耗引起了关注，为了解决这个问题，高效推理是使 ML 模型的推理更快（时间效率）、消耗更少的计算资源（计算效率）、更少的内存&#x

最低0.47元/天 解锁文章
zoetu
关注
专栏目录
Model Compression and Efficient Inference for Large Language Models: A Survey
c_cpp_csharp的专栏
04-05 98
基于Transformer的大型语言模型已经取得了巨大的成功。然而，在推理过程中产生的大量内存和计算成本使得在资源受限的设备上部署大型模型具有挑战性。在本文中，我们从算法的角度研究了大型语言模型的压缩和高效推理方法。关于分类法，与较小的模型类似，大型语言模型的压缩和加速算法仍然可以分为量化、修剪、蒸馏、紧凑架构设计和动态网络。然而，与较小的模型相比，大型语言模型有两个突出的特点：（1）大多数压缩算法需要在压缩后对模型进行微调甚至重新训练。大型模型最显著的方面是与模型微调或训练相关的非常高的成本。
【论文阅读】2_A Survey on Model Compression and Acceleration for Pretrained Language Models
zoetu
04-27 495
模型压缩与加速综述2，关于method和future部分。
（四十八：2021.09.09）《关于模型压缩和加速的调查【2017】》
Jojo论文基地
09-09 996
《关于模型压缩和加速的调查（A Survey of Model Compression and Acceleration for Deep Neural Networks）》讲在前面摘要一、介绍二、参数修剪和量化A. 量化和二值化B.网络裁剪C.设计结构矩阵三、低秩近似和稀疏性四、传递/紧凑 卷积滤波器五、知识蒸馏六、其他方法七、基准、评估和数据库八、挑战和未来的工作A.一般性建议B.技术挑战C.未来可能的方向4.致谢 for Deep Neural Networks）》) 讲在前面 一. 真的太糟心了，
A Survey on Model Compression for Large Language Models
y94688的博客
09-27 426
大型语言模型 (LLM) 彻底改变了自然语言处理任务，取得了巨大的成功。然而，它们巨大的规模和计算需求给实际部署带来了巨大的挑战，特别是在资源有限的环境中。随着这些挑战变得越来越重要，模型压缩领域已成为缓解这些限制的关键研究领域。本文提出了一项全面的调查，探讨了专为LLMs量身定制的模型压缩技术的前景。为了满足高效部署的迫切需求，我们深入研究了各种方法，包括量化、修剪、知识蒸馏等。在这些技术中，我们重点介绍了有助于LLMs研究不断发展的最新进展和创新方法。
解读：A Survey of Model Compression and Acceleration for Deep Neural Networks
weixin_39326879的博客
08-05 610
摘要 近年来，深度神经网络在视觉任务上取得了不错的发展，但是超高的计算量对内存和计算都带来了压力，尤其是要移植到移动设备上时。近年来模型压缩和加速也取得了很大的进展，我们主要分为四个方面：1.参数剪枝和量化；2.低阶分解；3.转移/压缩卷积滤波器（仅仅针对CNN）；4.知识蒸馏，后面我们再叙述一些现在比较成功的方法，比如动态网络和随机深度网络。 简介 许多模型虽然有很好的性能，但是由上亿的参数组成，需要在GPU上训练好几天。 参数剪枝和量化是通过移除不重要的参数或者参数中不重要的位数，可以加速运算并防止过拟
论文翻译：2021_Towards model compression for deep learning based speech enhancement
www_xuhss_com的博客
04-08 1556
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 目录 摘要1  引言2  算法描述A  基于DNN的语音增强B  迭代非结构化和结构化剪枝C  稀疏正则化D  基于聚类的量化3  实验步骤A  数据处理B&nbsp
CVPR2017论文摘要汇总
热门推荐
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 4978
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
【论文阅读笔记】---《A Survey of Model Compression and Acceleration for Deep Neural Networks》
u012101561的博客
05-03 5922
  论文：A Survey of Model Compression and Acceleration for Deep Neural Networks               深度神经网络模型压缩与加速综述       摘要--深度卷积神经网络（CNN）目前在很多视觉识别任务中有非常良好的表现。然而，目前的深度卷积神经网络模型非常耗费计算资源和内存，面临着在终端部署和低延迟需求场景下难...
LLMs之Efficient-LLMs-Survey：Efficient-LLMs-Survey(高效大型语言模型综述)的简介、代表性算法论文及其代码之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-04 3507
​ LLMs之Efficient-LLMs-Survey：Efficient-LLMs-Survey(高效大型语言模型综述)的简介、代表性算法论文及其代码之详细攻略 目录 Efficient-LLMs-Survey(高效大型语言模型综述)的简介 一、Model-Centric Methods 二、Data-Centric Methods 三、System-Level Efficiency Optimization and LLM Framewo
LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-31 3919
​ Paper：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 目录 《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 Abstract摘要 1 Introduction引言 2、Methodology方法 3、Datasets数据集：大多都是英文指令
引领高效多模态大语言模型的未来 —— 推荐《Efficient Multimodal Large Language Models: A Survey》
gitblog_00086的博客
06-15 842
???? 引领高效多模态大语言模型的未来 —— 推荐《Efficient Multimodal Large Language Models: A Survey》 Efficient-Multimodal-LLMs-SurveyEfficient Multimodal Large Language Models: A Survey项目地址:https://gitcode.com/gh_mirrors/e...
论文笔记——Graph Bottlenecked Social Recommendation
保持学习
09-27 915
论文精度及其代码复现——Graph Bottlenecked Social Recommendation
【Anti-UAV410】论文阅读
weixin_45074568的博客
09-25 1123
比较结果见表II。值得注意的是，Anti-UAV 410数据集显示了很大比例的小目标，其中超过一半的目标的尺寸小于50像素，甚至包括一定比例的微小目标（尺寸小于10像素），这些微小目标被其他数据集（如VOT-TIR 2015 [35]、VOT-TIR 2016 [5]、PTB-TIR [26]和LSOTB [6]）遗漏。反无人机数据集[2]是一个多模态数据集，包括318个视频对。该数据集旨在解决不同模式下反无人机跟踪的挑战，例如基于视觉的跟踪器可能表现不佳的低光条件。
论文阅读《Co-clustering for Federated Recommender System》
wzj1212123的博客
09-26 1187
第二个创新点凑数用的，典中典利用服务器的聚类信息给客户端作对比学习，重点在于提出以往聚类的不足以及新型聚类方法。
论文笔记（四十七）Diffusion Policy: Visuomotor Policy
最新发布
xzs1210652636的博客
09-27 857
本文介绍了Diffusion Policy，一种通过将机器人的视动策略表示为条件去噪扩散过程的新方法来生成机器人行为。我们在来自四个不同机器人操作基准的15个任务上对Diffusion Policy进行了基准测试，结果显示它在所有任务中表现优异，平均提高了46.9%。Diffusion Policy通过学习动作分布评分函数的梯度，并在推理过程中通过一系列随机Langevin动力学步骤迭代优化这一梯度场。
Qwen2-VL论文阅读笔记
谁怕平生太急
09-25 688
Naive Dynamic Resolution - 用2D-RoPE取代绝对位置编码 推理阶段的序列长度是可控的 【推理阶段的不定长的vision tokens是怎么处理的？遵从qwenvl的三阶段：用image-text单独训练ViT、解冻所有参数训练理解能力、最后冻住ViT只训练LLM遵循格式化数据。预训练阶段目的： 学习 图文关系、通过ocr的图像文本上下文识别、图片分类任务。平衡长视频处理的计算需求与整体训练效率，我们动态调整每个视频帧的分辨率，限制每个标记的总数 视频到16384。
【论文阅读】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
qq_33673253的博客
09-26 994
本文介绍了扩散策略，这是一种通过将机器人的视觉运动policy表示为条件去噪扩散过程来生成机器人行为的新方法。我们对来自 4 个不同的机器人操作基准的 15 个不同任务的扩散策略进行了基准测试，发现它始终优于现有的 state-of-the-art 机器人学习方法，平均提高了 46.9%。扩散策略学习动作分布评分函数的梯度，并通过一系列随机朗之万动力学步骤在推理过程中针对该梯度场迭代优化。
AttributeError: module 'cv2' has no attribute 'CV_IMWRITE_PNG_COMPRESSION'
07-05
这个错误信息是Python中的异常AttributeError，当你尝试在一个模块（在这个例子中是`cv2`，它通常用于OpenCV库）上调用一个不存在的方法或属性时会出现。`CV_IMWRITE_PNG_COMPRESSION`是一个常量，表示在使用OpenCV将图像保存为PNG格式时控制压缩级别的参数。如果代码中试图设置这个值但该模块实际上不支持这个属性，就会抛出这个错误。 具体可能的情况包括： - 你正在使用的OpenCV版本过旧，没有包含这个特性。 - `cv2`模块本身有问题或者安装不完整，导致找不到这个属性。 - 你在导入`cv2`时不正确地导入了，比如没有使用`import cv2 as cv`这样的别名。 要解决这个问题，你可以做以下几个步骤： 1. 确认你的OpenCV版本是否足够新，包含了`CV_IMWRITE_PNG_COMPRESSION`。 2. 更新或重新安装OpenCV到最新版本。 3. 检查导入方式，确保使用了正确的别名（如`import cv2 as cv`）。 4. 如果是在使用特定功能，请查阅官方文档确认当前版本是否支持该功能。 如果你遇到这个问题，可以考虑问一下相关问题： 1. 如何检查我的OpenCV版本是否包含`CV_IMWRITE_PNG_COMPRESSION`？ 2. 我应该如何更新我的OpenCV库以包含这个属性？ 3. 如果我确实不需要这个特性，如何避免这个错误？
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zoetu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值