1 轻量化模型
一般而言,模型轻量化有三个途径:
知识蒸馏:大模型引导小模型训练,让其逼近大模型效果
轻量化模块替换:利用一些轻量化模块进行替换,减少模型参数
剪枝:通过优化算法引导模型裁剪无用的参数
MobileNetV3论文如下,自行搜索
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/fdebe30b2cb64c49981a260aae1b9a87.png)
2 修改步骤
- 在
nn/modules
的文件夹下新建一个backbone
文件夹,在backbone
文件夹里面新建一个MobileNetV3.py
文件,放入MobileNetV3
源码。
MobileNetV3.py如下所示
from torch import nn
class h_sigmoid(nn