【视频课】模型优化拆分！分别学习模型剪枝与模型量化理论与实践

前言

好的模型结构是深度学习成功的关键因素之一，不仅是非常重要的学术研究方向，在工业界实践中也是模型是否能上线的关键。对各类底层深度学习模型设计和优化技术理解的深度是决定我们能否在深度学习项目中游刃有余的关键，模型压缩与优化是专门针对模型进行精简的技术，这是模型能够在各类嵌入式平台使用的关键技术，包括紧凑模型设计，模型剪枝，模型量化，模型蒸馏，自动化模型设计等内容。

当前许多成熟的框架都支持进行模型的压缩优化，比如Tensorflow、TensorRT，内置了经典的模型压缩优化方法。

为了帮助大家系统性地学习深度学习模型优化的相关内容，我们推出了《深度学习之模型优化》系列课程，目前已完成约7个小时的理论课+4个小时的实践课（还在更新中），可以参考介绍：

【视频课】超10小时模型优化技术，模型剪枝+模型量化+知识蒸馏理论与实践！

但是因为咱们有些学习者只对其中的某一项技术感兴趣，比如模型剪枝或者模型量化，毕竟完整的模型优化相关的内容非常多，随着后面内容继续更新，想要完全消化吸收也是很有难度的。

因此，应咱们一些朋友的要求，我们将《深度学习之模型剪枝》与《深度学习之模型量化》的内容单独从优化专栏中拆分出来，下面我们分别对这两部分做一个介绍。

模型剪枝专栏

模型剪枝课程专栏内容包括模型剪枝的经典算法理论与实践，目前一期已经基本更新完毕，约4个小时，涵盖了模型剪枝基础，非结构化模型剪枝，结构化模型剪枝，以及相关的实践，下面是各部分的简单介绍。

(1) 模型剪枝基础，包括模型剪枝的基本概念，模型的冗余性分析，约25分钟【本部分内容可以免费收听】。

(2) 非结构化模型剪枝（基础篇），包括基于幅度的连接权重剪枝框架及其改进，约25分钟【本部分内容可以免费收听】。

(3) 结构化模型剪枝，包括幅度篇、稀疏权重篇、稀疏因子篇、重建篇，详细介绍了当前各种主流的结构化模型剪枝技术，一共约110分钟。

(4) 结构化模型剪枝实践，包括基准模型训练以及基于稀疏约束与缩放因子的结构化剪枝实践，约60分钟。

课程试听以及订阅，后续内容的更新，请扫码下面的海报，查看详细目录：

模型量化专栏

模型量化课程专栏内容包括模型量化的经典算法理论与实践，目前一期已经基本更新完毕，约4个小时，涵盖了模型量化基础，1bit模型量化，8bit模型量化，混合量化，以及相关的实践，下面是各部分的简单介绍。

下图是已有课程的大纲脑图：

下面简单了解一下各部分的内容：

(1) 模型量化基础，介绍模型量化方法的分类，模型量化的优势，约20分钟，本部分内容可以免费收听。

(2) 2值模型量化，包括基础篇、重建篇，详细介绍了当前主流的2值网络，约50分钟。

(3) 8bit模型量化，介绍的内容包括基于KL散度的对称量化、非对称的训练时与训练后量化框架，时长约45分钟。

(4) 混合模型量化，介绍了基于不同位宽的激活值、权重值、梯度值的量化训练框架，约30分钟。

(5) 8bit模型量化实践，包括校准表生成与模型量化，ncnn模型推理，约90分钟。

课程试听以及订阅，后续内容的更新，请扫码下面的海报，查看详细目录：

课程

当前这两门课程的定价为149，周一恢复价格为199，请及时订阅。

本课程讲师为言有三，讲师简介如下：

龙鹏，笔名言有三，技术社区《有三AI》创始人。先后就读于华中科技大学(2008-2012)，中国科学院半导体研究所神经网络实验室(2012-2015)，先后就职于奇虎360人工智能研究院(2015.7-2017.5)，陌陌科技深度学习实验室(2017.5-2019.3)，深度学习算法专家，阿里云MVP，华为云MVP。

拥有超过7年的计算机视觉从业经验，拥有丰富的传统图像算法和深度学习计算机视觉项目经验，著有书籍《深度学习之图像识别：核心技术与案例实战》(机械工业出版社2019.4)，《深度学习之模型设计：核心算法与案例实践》(电子工业出版社2020.6)，《深度学习之人脸图像处理：核心算法与案例实战》(机械工业出版社2020.7)，《深度学习之摄影图像处理：核心算法与案例精粹》(人民邮电出版社2021.4)，拥有10余项发明技术专利与学术论文。

擅长领域：Caffe，Tensorflow，Pytorch等主流深度学习平台。神经网络与深度学习理论，深度学习模型设计与优化，计算机视觉的基础领域，AI美学，2D与3D人脸算法，生成对抗网络GAN等领域。

本课程是模型优化课程的其中一部分，属于有三AI整个课程体系中的高阶课程，需要大家已经能够熟练使用深度学习框架与基础模型，建议与另外3门课程配合使用，包括《深度学习之模型分析》，《深度学习之模型设计》，《深度学习之模型部署》，详细介绍请查看：

【视频课】快速掌握5大模型部署框架(NCNN+MNN+Tengine+TensortRT+微信小程序)！

【视频课】先搞懂你用的模型，深度学习模型分析课程来了！

【视频课】超30个小时模型设计理论，4大Pytorch案例实战与安卓部署，长期更新中

如果想要一次性获取有三AI平台所有模型相关的课，建议直接加入有三AI-CV秋季划模型算法组，不仅有课程，还有有三的一对一答疑，书籍赠送以及知识星球赠送，可参考介绍如下：

【CV秋季划】模型算法与落地很重要，如何循序渐进地学习好（2022年言有三一对一辅导）？

往期相关

• 【视频课】超全深度学习路线图，有三AI所有免费与付费的视频课程内容汇总！