超级会员免费看
这里写目录标题
- pytorch 的量化相关文章：
- 补充知识：
- 一、模型压缩主流方法：
- 二 、模型量化具体形式总结：
- 三 生产量化模型 的四个等级
- 四、 模型量化的好处和挑战
- 五、 模型量化的几个结论和问题
- 六、如何生产一个硬件能跑的量化模型？----我认为这部分理解为模型部署。
- 七、如何挽救精度损失？
- 八、离线量化方法有哪些需要解决的问题？
- 九、离线量化的难点
- 十、如何在实际的场景下实现离线量化的精度提升？
-
- 10.1 通过从==校准数据==入手来实现离线量化精度的提升
-
- 10.1.1校准数据 之 ==无数据量化方式1==:是2019年高通做的
- 10.1.2 校准数据 之 ==无数据量化（Data-Free Quantization）方式2==:==是基于BN的统计信息去生成图片，然后用生产的图片去做校准==，也就是下图中BN的损失函数：可以随机生成一个X，让X通过神经网络得到中间BN层的μ和==σ(sigma小写)==，然后用本来已经训练好的μ和σ去监督，使得随机生成的与原来的两个μ和σ能接近。---的确能生成视觉语义信息（人能看到）的图片。
- 10.1.3 校准数据 之==Cross-Domain Quantization(跨Domain的量化)==----2021年提出
- 问题：如何挑出比较好的校准数据呢？
- 10.1.4 校准数据 之 总结
- 10.2 通过从==异常层分析（两种）==入手来实现离线量化精度的提升
- 10.3 通过从==优化空间和方式==入手来实现离线量化精度的提升
- 10.4 通过从==优化粒度选择==入手来实现离线量化精度的提升
- 10.5 总结
- 十一、如何将浮点模型转变为量化模型？---pipeline(流程)
- 十二：什么阻碍了量化模型的落地：1、精度挑战、2、软硬件支持程度、3、高效的量化等方面阻碍了量化模型的落地
- ----------------第二部分-----------论文讲解-------------
- 第一篇：2019
- 第四篇：
- 五
- 在量化友好型的结构中对channel分配有什么经验/规律吗？
- # ----------------第三部分-----------在线量化-------------
pytorch 的量化相关文章：
1、https://zhuanlan.zhihu.com/p/299108528
2、https://zhuanlan.zhihu.com/p/299108528：W3Cschool
补充知识：
1、什么是分位点？
分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数(即二分位数)、四分位数、百分位数等。即连续分布函数中的一个点，这个点对应概率p。
分位点回归是对以古典条件均值模型为基础的最小二乘法的延伸，它用几个分位函数来估计整体模型。
分位点回归法的特殊情况就是中位数回归(最小一乘回归)，用对称权重解决残差最小化问题，而其他条件分位数回归则需要用非对称权重解决残差最小化。
一、模型压缩主流方法：
1、模型量化
2、模型稀疏（分为结构化{其实就是神经网络通道剪枝，channel减掉}和非结构化稀疏{由于硬件原因落地遥远，几年前主要是主要做算法研究）}）
3、网络结构搜索–最大特点是生产成本很高<
订阅专栏 解锁全文
1469
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
