【笔试面试】秒懂深度学习模型小型化：蒸馏法、剪枝…

最新推荐文章于 2024-03-25 21:55:43 发布
最新推荐文章于 2024-03-25 21:55:43 发布
阅读量1.1k 收藏 4
点赞数 1
分类专栏： 轻量级神经网络 文章标签： 神经网络 深度学习 机器学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43363778/article/details/109909475
版权

蒸馏：主要思想是，通过大模型指导小模型学习。

剪枝：网络剪枝的主要思想就是将权重矩阵中相对“不重要”的权值剔除，然后再重新fine tune网络进行微调。

紧凑模型设计：

  • MobileNet 的 深度可分离卷积
  • shufflenet 的 逐点群卷积(pointwise group convolution)和通道混洗(channel shuffle)，前者通过分组卷积降低计算量，后者促进信息在不同组之间流转
聊北辰同学
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习模型部署与剪枝优化实例.rar
01-11
深度学习模型部署与剪枝优化实例视频教程下载。深度学习模型部署与剪枝优化实例课程旨在帮助同学们快速掌握模型部署与优化方法。 主要包括两大核心模块： 1.基于深度学习框架PyTorch与Tensorflow2版本演示模型部署...
CNN 模型压缩与加速算法综述
QcloudCommunity的博客
08-31 9290
卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战，CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。
深度学习机器学习面试题汇——模型优化，轻量化，模型压缩
weixin_46838716的博客
05-23 3041
1）模型优化，优化啥呢？就是压缩模型，使得存储量，计算量变小，加快运行速度，使得模型可以迁移到小设备上 2）知识蒸馏的技术可以了解一下，目的就是加速模型运算，降低存储量。 3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。
深度学习中的模型蒸馏技术：实现流程、作用及实践案例
最新发布
qq_42533357的博客
03-25 1771
在深度学习领域，模型压缩与部署是一项重要的研究课题，而模型蒸馏便是其中一种有效的方法。模型蒸馏（Model Distillation）最初由Hinton等人在2015年提出，其核心思想是通过知识迁移的方式，将一个复杂的大模型（教师模型）的知识传授给一个相对简单的小模型（学生模型），，从而在保持较高预测性能的同时，极大地降低了模型的复杂性和计算资源需求，实现模型的轻量化和高效化。模型蒸馏技术在计算机视觉、自然语言处理等领域均取得了显著的成功。
深度学习之模型轻量化
ajin156的博客
05-30 2459
模型的权值参数往往以32位浮点数的形式保存，神经网络的参数，会占据极大的存储空间，因此，如果在存储模型参数时将 32 位浮点数量化为8位的定点数，可以把参数大小缩小为原来的1/4，整个模型的大小也可以缩小为原来的1/4，不仅如此，随着参数量化后模型的减小，网络前向运算阶段所需要的计算资源也会大大减少。，该值越小，说明对应的神经元对网络输出结果影响越小，属于不重要的神经元，应该被移除，对应的连接也应被剪除。，网络性能和准确度依然会受到较大的影响，为了消除这些影响，一个很重要的步骤是对。
工作一年时期的土豆总结——复杂度和困难度
机器学习杂货铺1号店
03-20 1423
工作一年时期的土豆总结——复杂度和困难度
百度搜索深度学习模型业务及优化实践
lihui49的博客
11-10 395
百度搜索架构部模型架构组，致力于将最新的人工智能技术以更低的成本被百度数亿用户体验到。
机器学习与深度学习常见面试题（上）
SIGAI_CSDN的博客
09-21 2万+
本文及其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造，自2019年1月出版以来已重印3次。 书的购买链接 书的勘误，优化，源代码资源 一年一度的校园招聘已经开始了，为了帮助参加校园招聘、社招的同学更好的准备面试，SIGAI整理出了一些常见的机器学习、深度学习面试题。理解它们，对你通过技术面试非常有帮助，当然，我们不能只...
网络模型小型化--量化
小M同学的博客
05-14 1560
网络模型量化 模型量化 以更少位数的数据类型用于近似表示32位有限范围浮点型数据的过程 模型的输入输出依然是浮点型 达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标 原理 模型量化桥接了定点与浮点，建立了一种有效的数据映射关系，使得以较小的精度损失代价获得了较好的收益 由浮点到定点的量化 由定点到浮点反量化 优缺点 好处 减小模型尺寸，如8位整型量化可减少75%的模型大小 减少存储空间，在边缘侧存储空间不足时更具有意义 易于在线升级，模型更小意味着更加容易传输 减少内存耗用，更小的模型大
【深度学习技巧】模型压缩（参数修剪、神经元修剪、知识蒸馏、参数量化、结构设计、动态计算）
qq_44747572的博客
10-26 649
模型压缩（参数修剪、神经元修剪、知识蒸馏、参数量化、结构设计、动态计算）
tensorflow 模型小型化_模型小型化
weixin_30324561的博客
01-17 164
实习终于结束了，现把实习期间做的基于人体姿态估计的模型小型化的工作做个总结。现在深度学习模型开始走向应用，因此我们需要把深度学习网络和模型部署到一些硬件上，而现有一些模型的参数量由于过大，会导致在一些硬件上的运行速度很慢，所以我们需要对深度学习模型进行小型化处理。模型小型化旨在保证模型效果不会明显下降的情况下降低模型的参数量，从而提高模型的运算速度。以下是几种模型小型化的方法：1、修改某些卷积层的...
模型小型化小结
weixin_34060299的博客
10-02 589
　　实习终于结束了，现把实习期间做的基于人体姿态估计的模型小型化的工作做个总结。 　　现在深度学习模型开始走向应用，因此我们需要把深度学习网络和模型部署到一些硬件上，而现有一些模型的参数量由于过大，会导致在一些硬件上的运行速度很慢，所以我们需要对深度学习模型进行小型化处理。模型小型化旨在保证模型效果不会明显下降的情况下降低模型的参数量，从而提高模型的运算速度。 　　以下是几种模型小型化的方法：...
深度学习模型部署与剪枝优化实例视频教程
11-17
给大家分享一套课程——深度学习模型部署与剪枝优化实例视频教程，课程目录： 第1章 PyTorch框架部署实践 第2章 YOLO-V3物体检测部署实例 第3章 docker实例演示 第4章 tensorflow-serving实战 第5章 模型减枝-...
深度学习模型部署与剪枝优化实例
05-18
深度学习模型部署与剪枝优化实例课程旨在帮助同学们快速掌握模型部署与优化方法。
模型轻量化-YOLOv5无损剪枝
10-28
运行顺序： 1. 原始训练，得到一个最优mAP等评价指标 2.通过调整BN稀疏值sr，运行train_sparity.py稀疏训练得到一个稍微小的...3. 将训练好的last.pt 放到prune.py 中进行剪枝，控制剪枝率； 4. Finetune得到最优模型
无人驾驶深度学习模型组合剪枝算法.pdf
08-18
无人驾驶深度学习模型组合剪枝算法.pdf
深度学习模型压缩方法综述（一）
热门推荐
小时候贼聪明
07-21 5万+
目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
【推理引擎：核心原理】系列来啦！从入门到昇腾！
m0_37046057的博客
03-03 422
《AI推理引擎：核心原理》这个系列的内容：从推理系统整体架构开始，然后到模型小型化、模型压缩，在真正推理之前需要进行模型转换和图优化，最后到kernel和runtime优化。还是很有意思的，也花了很多时间，希望能够帮助到大家啦！！！
探索可解释及稳定性，AI与博弈，自适应推理——“智源论坛：机器学习青年学者报告会”要点总结
BAAIBeijing的博客
06-15 1577
6月10日，北京智源人工智能研究院（BAAI）继“人工智能的数理基础”后，发布“机器学习”重大研究方向，由颜水成教授担任首席科学家，拟针对当前以深度学习、强化学习等为代表的人工智能算法所...
模型轻量化-剪枝蒸馏轻量化
09-06
模型轻量化是指通过减少模型的大小和计算量，以达到模型压缩和加速的效果的技术。其中，剪枝和蒸馏是常用的模型轻量化方法之一。 剪枝（Pruning）是一种深度学习模型压缩技术，通过去除神经网络中不必要的参数和连接来减少模型的大小和计算量。剪枝的目标是保持模型的性能不受太大影响的情况下，减少模型的存储和运行成本。剪枝可以根据不同的策略和准则进行，例如根据参数的大小或梯度的大小等进行选择。剪枝之后的模型可能会变得更加复杂，难以解释和理解。[1,2] 蒸馏（Distillation）是另一种模型轻量化方法，它通过将一个复杂模型（教师模型）的知识传递给一个简化版本的模型（学生模型）来减少模型的大小和计算量。蒸馏的目标是在保持模型性能的同时，减少模型的复杂性。蒸馏可以通过训练学生模型使其输出与教师模型的输出尽可能接近来实现。通过蒸馏，学生模型可以学习到教师模型的知识和决策能力，从而达到模型轻量化的效果。 剪枝和蒸馏可以相互结合使用，以进一步提高模型的轻量化效果。剪枝可以先对模型进行压缩，然后使用蒸馏的方法将压缩后的模型与原始模型进行知识传递，以提高轻量化模型的性能。具体步骤中，剪枝通常是在训练完成后进行，去除不必要的参数和连接，然后进行重新训练（Finetune）以得到可用的最优模型。[1,3]<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [模型轻量化-网络剪枝专栏（一）网络剪枝概述](https://blog.csdn.net/KANG157/article/details/130450717)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [《模型轻量化-剪枝蒸馏量化系列》YOLOv5无损剪枝（附源码）](https://blog.csdn.net/qq_46098574/article/details/125174256)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值