万字长文-深度学习模型压缩和加速-量化、剪枝、蒸馏等

已于 2024-05-29 14:48:49 修改
阅读量1.8w 收藏 35
点赞数 6
分类专栏： 深度学习：搜索推荐、NLP、机器学习等 文章标签： 深度学习 神经网络
于 2020-04-30 22:37:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013510838/article/details/105870545
版权
本文详细探讨了深度学习模型在移动端的压缩和加速技术，包括结构优化（如矩阵分解、权值共享、分组卷积等）、量化、剪枝和蒸馏。通过这些方法，可以显著减小模型尺寸、降低计算复杂度，以适应移动端的资源限制。同时，文章还讨论了框架层和硬件层的加速策略，以实现更好的性能和效率。
摘要由CSDN通过智能技术生成

系列文章，请多关注
NLP预训练模型1 – 综述
NLP预训练模型2 – BERT详解和源码分析
Transformer家族1 – Transformer详解和源码分析


请添加图片描述

1 背景

近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域，不断刷新传统模型性能，并得到了广泛应用。随着移动端设备计算能力的不断提升，移动端AI落地也成为了可能。相比于服务端，移动端模型的优势有：

  1. 减轻服务端计算压力，并利用云端一体化实现负载均衡。特别是在双11等大促场景，服务端需要部署很多高性能机器，才能应对用户流量
了解本专栏 订阅专栏 解锁全文 超级会员免费看
谢杨易
关注
专栏目录
订阅专栏
【深度学习之模型优化】模型剪枝、模型量化、知识蒸馏概述
向往有那么一天梦幻的步态识别落地，开花❀！
09-02 1万+
​ 模型部署优化这个方向其实比较宽泛。从模型完成训练，到最终将模型部署到实际硬件上，整个流程中会涉及到很多不同层面的工作，每一个环节对技术点的要求也不尽相同。但本质的工作无疑是通过减小模型大小，提高推理速度等，使得模型能够成功部署在各个硬件之中去并且实时有效的运作。 ​
一文读懂：AI大模型！
python1234567_的博客
06-16 1506
近年来，随着深度学习技术的迅猛发展，AI大模型已经成为人工智能领域的重要研究方向和热点话题。AI大模型，指的是拥有巨大参数规模和强大学习能力的神经网络模型，如BERT、GPT等，这些模型在自然语言处理、计算机视觉等领域取得了令人瞩目的成果。AI大模型的意义不仅在于其巨大的参数规模和学习能力，更在于它们对于解决现实世界复杂问题的潜力。这些模型可以通过大规模数据的学习，自动发现数据之间的关联性和特征，从而实现对文本、图像等数据的高效处理和理解。
模型压缩与加速
最新发布
qq_41076629的博客
07-16 303
3的depthwise卷积和1。
深度学习中的卷积算子优化与GPU加速
TheJustice_的博客
06-11 1245
/ 共享内存用于存储输入和卷积核的局部块// 加载输入数据到共享内存++kh) {++kw) {GPU加速和算子优化在深度学习中至关重要。通过使用高效库、混合精度训练、并行计算策略、操作融合、自定义CUDA内核等方法，可以显著提高深度学习模型的训练和推理速度。这些优化技术不仅提升了计算效率，还增强了模型在实际应用中的性能和可扩展性。
深度学习 检测模型对比
10-12
深度学习 检测模型对比
深度学习模型加速_[深度学习] 当我们谈论模型加速
weixin_42102933的博客
12-06 173
当我们谈论模型加速的时候，我们在谈论什么？最近为了让模型在车上又快又好的跑起来，研究了一下模型的压缩和加速。严格来说，模型的压缩和加速是两件事情，这里我们不区分概念，只讨论目的 —— 让模型又快又好的跑起来，即在不过分损失精度的前提下，提升模型的推理速度。总结起来，目前实现这一目的主要依靠以下四种手段：剪枝输入模糊化代码去重和优化具体硬件角度设计加速方案剪枝剪枝是对模型进行裁剪，去掉低效低价值分支...
深度学习模型压缩技术概览
zhuguiqin1的专栏
08-10 1767
本文参考An Overview of Model Compression Techniques for Deep Learning in Space | by Hannah Peterson | GSI Technology | Medium 在太空中的计算 我们每天都依靠外星设备向我们发送有关地球和周围空间状态的信息——目前，大约有 3,000 颗卫星绕地球运行，而且这个数字正在迅速增长。考虑到板载内存和下行链路带宽等空间资源面临严格的限制，处理和传输这些设备产生的大量数据并非易事。在卫星图像的情
深度学习机器学习面试题汇——模型优化，轻量化，模型压缩
weixin_46838716的博客
05-23 3504
1）模型优化，优化啥呢？就是压缩模型，使得存储量，计算量变小，加快运行速度，使得模型可以迁移到小设备上 2）知识蒸馏的技术可以了解一下，目的就是加速模型运算，降低存储量。 3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。
深度学习——模型的压缩和加速
樱缘之梦
01-27 3101
1. 简介 随着深度学习发展，越来越多的模型被发现和应用，模型的体量也越来越大，出现了模型过于庞大和参数冗余的问题。同时，移动端对模型的需求也是越轻量越好，因此，模型压缩和加速技术应运而生。 模型压缩和加速的方案有4种：参数修剪和共享（去除不重要的参数）、低秩分解（使用矩阵/张量分解来估计深层CNN【应该适应于其他神经网络模型】中具有信息量的参数）、迁移/压缩卷积滤波器（通过设计特殊结构的卷积核以减少存储和计算成本）、知识精炼（设计教师模型和学生模型，即训练一个更加紧凑的神经网络模型以再现大型网络的输出
51-2 万字长文，深度解读端到端自动驾驶的挑战和前沿
AIgraphX
02-19 2899
自动驾驶社区见证了采用端到端算法框架的快速增长，这些方法利用原始传感器输入来生成车辆运动规划，而不是专注于检测和运动预测等单个任务。我们对250多篇论文进行了全面分析，深入研究了几个关键挑战，包括多模态、可解释性、因果混淆、稳健性和世界模型等，还讨论了大模型和视觉预训练的当前进展，以及如何将这些技术纳入端到端的自驾框架。
机器学习-01-一篇万字长文深入了解机器学习必备准备工作：基础知识学习、机器学习工具选择和Python工具包运用
05-03
3. Keras：这是一个高级神经网络API，可以在TensorFlow和Theano之上运行，简化了深度学习模型的构建过程。 4. Pandas：数据处理的神器，用于数据清洗、整理和分析，为机器学习项目提供便利的数据预处理环境。 5. ...
万字长文学会对接 AI 模型：Semantic Kernel 和 Kernel Memory，工良出品，超简单的教程
04-29
万字长文学会对接 AI 模型：Semantic Kernel 和 Kernel Memory，工良出品，超简单的教程
Transformer入门篇-深度万字长文带你轻松入门深度学习框架
wenyusuran的专栏
09-07 1275
0 摘要 transformer结构是google在17年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形det
深度学习模型在训练集上很好而在测试集表现得不好而拟合次数并不多_机器学习（一）之监督学习模型总结...
weixin_39815456的博客
11-21 5030
原文链接：https://blog.csdn.net/snail9610/article/details/104764985全文2万多字，建议收藏！！！0 本文介绍1 K近邻1.1 何为K近邻1.2 构建K近邻—分类1.3 KNeighborsClassifier1.4 构建K近邻—回归1.5 优点、缺点和参数2 线性模型2.1 线性回归...
【pytorch】给训练踩踩油门-- Pytorch 加速数据读取
Shwan_ma的博客
12-01 4313
本文转载于 https://zhuanlan.zhihu.com/p/80695364 训练模型的时候有时候会发现显卡的占用一直跑不满，会很浪费，往往是因为IO瓶颈导致的训练速度降低。 本文可以从以下几个方面进行对模型加速： 一, prefetch_generator 使用 prefetch_generator 库在后台加载下一 batch 的数据。 安装： pip install prefet...
听六小桨讲AI | 第1期：卷积概念及计算
PaddlePaddle
04-14 840
点击左上方蓝字关注我们本栏目由百度飞桨RD们联手精心打造，对深度学习的知识点进行由浅入深的剖析和讲解。大家可视它为深度学习百科（面试秘籍也是可以哒），当然也可收藏为深度学习查询手册~大家好...
【模型压缩】量化精度损失分析
AI知识搬运工
02-16 5566
1, 如何进行模型量化？ 按照量化阶段的不同，一般将量化分为 quantization aware training(QAT) 和 post-training quantization(PTQ)。QAT 需要在训练阶段就对量化误差进行建模，这种方法一般能够获得较低的精度损失。PTQ 直接对普通训练后的模型进行量化，过程简单，不需要在训练阶段考虑量化问题，因此，在实际的生产环境中对部署人员的要求也较低，但是在精度上一般要稍微逊色于 QAT。本文介绍的主要方法也是针对 PTQ 。关于 QAT 的内容，因为..
基于tensorflow2的多种模型定点化方式
u012329554的博客
06-02 2161
Copyright 2020 The TensorFlow Authors. #@title Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # # https://www.apache.org/licenses/
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

谢杨易

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值