飞桨第六课 2020.4.5_怎么看飞桨算法的网络结构-CSDN博客

本文链接：https://blog.csdn.net/weixin_44382711/article/details/105332160

在这里插入图片描述

现在的模型越来越大，要模型压缩
paddle slim是一个压缩库

自动检测电网周边是否有问题，烟雾什么的

总来说分四类

原理上的：
三个中间输出
A-卷积》B-卷积》C
通过剪掉卷积核减少通道数

那么怎么去确定，剪掉哪些参数？
重要性评估：
剪掉的比例-正确率 curve
定义是这个卷积层是否重要
L1——norm是卷积层的这个通道是否重要
在这里插入图片描述
FLOPS（即“每秒浮点运算次数”，“每秒峰值速度”）
手机可以通过PaddleLite进行部署

embedding量化是针对nlp的
量化训练与离线量化有区别

在这里插入图片描述

上面是一个老师模型

在这里插入图片描述
红框在老师里长，学生里短
弹幕可以看看

反馈时对搜索策略进行调优
不加约束会崩

可以看文档
搜索空间：Block相当于一个模型结构，有很多操作，可以理解成时很多卷积，搜索出来后再自行设计网络

在这里插入图片描述
为什么不急于计算量？：目的和原因
卷积2对卷积1耗时是少的
解决方法：图上黑字
搜索出模型之后，对模型进行查找，根据耗时判断硬件是否符合要求
FlopsNAs是基于计算量进行搜索的耗时

summary原理结束了
模型压缩：工业上缩小模型之后，不减精度甚至提高的黑科技
在这里插入图片描述

做了什么：
2.对网络接口进行裁剪
3.像正常那样训练

测试的接口，获取敏感度会用到

进行训练：
数据集还挺小，训练起来挺准的

中间的数组是裁剪的参数

paddle-Lite快速部署

文档网站
在这里插入图片描述

实战：