自己使用过得模型压缩方法

最近有朋友问我做过的L1剪枝方法怎么样,有没有资源;

因为这个是公司的事情,我也不能直接给资源,但是我还是将我使用过得压缩方法总结一下。

(还是由于自己忘性大,留给自己回忆):

1)L1剪枝方法:

查看如下资源,https://github.com/NervanaSystems/distiller

2)蒸馏:

查看论文:

《Mimicking Very Efficient Network for Objection》

(实现后效果很好用,在yolo上,没有精度损失)

《A Gift from Knowledge Distillation: Fast Optimization,Network Minimization and Transfer Learning》

(我实现的算法效果很差)

《Distillation the Knowledge in Neural Network》

(我的启蒙文章)

3)yolo的剪枝方法:

查看论文:《Object detection at 200 Frames Per Second》

(yolo上的压缩后效果没有文章《Mimicking Very Efficient Network for Objection》压的好)

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
对于YOLO(You Only Look Once)这样的目标检测算法,模型压缩方法的选择应该考虑到网络结构的特点和目标检测任务的需求。 以下是几种适合YOLO的模型压缩方法: 1. 参数量剪枝(Parameter Pruning):通过剪枝网络中冗余的参数来减小模型的大小。可以根据参数的重要性指标(如L1范数、梯度范数等)选择需要剪枝的参数,然后将这些参数置零或删除。 2. 量化(Quantization):将模型中的浮点数参数转换为低位精度的整数或定点数,从而减少模型的存储和计算开销。常见的量化方法有权重量化和激活量化。 3. 知识蒸馏(Knowledge Distillation):通过将一个复杂模型(教师模型)的知识传递给一个轻量级模型(学生模型),来减小模型的大小。教师模型可以是一个较大、准确度较高的YOLO模型,而学生模型可以是一个轻量级的YOLO模型。 4. 层剪枝(Layer Pruning):根据层的重要性指标,如输出特征图的重要性、卷积核的重要性等,选择需要剪枝的层,从而减小模型的大小。可以使用一些启发式的方法,如L1范数、梯度范数等来评估层的重要性。 5. 蒸馏+剪枝(Distillation + Pruning):结合知识蒸馏和剪枝方法,先使用知识蒸馏将复杂模型的知识传递给轻量级模型,然后再使用剪枝方法对轻量级模型进行进一步压缩。 以上是一些适合YOLO的模型压缩方法,可以根据具体的网络结构和任务需求选择合适的方法进行模型压缩。需要注意的是,在进行模型压缩的过程中,我们需要综合考虑模型大小、计算复杂度和目标检测性能的平衡。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猫猫与橙子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值