神经网络轻量化部署0-学习计划

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

本人新手一枚，写博客主要是想记录下自己完成毕设的过程，同时希望可以跟大家多多交流，共同进步。这一系列的博客主要是神经网络轻量化部署。今天先写一些自己的学习计划，以及基础入门知识。

---

提示：以下是本篇文章正文内容，下面仅供参考

一、学习计划

1.熟悉神经网络剪枝、量化、蒸馏这些压缩相关技术和模型精度调优技术：找开源的程序自己学习总结；
2.熟悉深度学习编译器，学习TVM的使用，了解编译原理、中间表示、后端实现和编译优化的原理；
3.将神经网络部署在特定硬件计算平台上。

二、神经网络压缩技术

1.剪枝

剪枝的目的就是将在精度不变的前提下减少模型的一些层或者通道或者权重数量等等，甚至可以剪枝filter。可以节省计算量并且减少模型的体积，对于大模型来说是很有用的，一般来说剪枝后的模型比未剪枝的同等size大小精度更高。
具体
参考：1、剪枝学习论文
2、zomi的PPT（这个资料暂时还没找到，后续会接着找）

2.量化

量化目前比较成熟，有很好的教程和成熟的库（PPQ），新手入门，打算跟着PPQ学习，主要关注以下几个方面：

• 量化基本概念，与硬件的关系
• PTQ和QAT两种量化思路
• 可以实施量化的框架以及如何使用
  PPQ的连接如下：PPQ
  需要通过一些具体的模型来操作，可以找一些教程进行实践。

---

总结

本篇文章先给出大致的学习计划，后面的博客大概率会按照这个顺序来，希望会坚持下去！