![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
模型优化-剪枝
文章平均质量分 84
???/cy
算法工程师,日常分享多模态领域的前沿成果,与自己工程经验的总结,问道~大模型
展开
-
yolov7示例 | 如何写一个剪枝代码?
剪枝有哪些方法首先, 选择剪枝的颗粒度:规律 or 不规则然后, 选择在哪里剪枝:权重 or 结构其次,选择剪枝程度:计算量减少5倍?yolov7代码中的train.pytest.py要了解因为我们剪枝进行finetune的时候需要train()这个函数,prune的时候需要test()这个函数。原创 2024-04-03 14:52:09 · 1135 阅读 · 0 评论 -
剪枝 Pruning | 剪枝系统性的介绍(持续更新)
基于缩放的剪枝通常与剪枝阈值结合使用,权重的缩放因子与阈值比较,如果权重的缩放因子低于阈值,则相应的权重将被剪枝。“Second-Order-based Pruning”(基于二阶导数的剪枝)是一种神经网络剪枝技术,它利用神经网络中参数的二阶导数信息来确定哪些参数应该被剪枝。“Magnitude-based pruning”(基于权重大小的剪枝)是一种常见的神经网络剪枝技术,它基于神经网络中的参数(通常是权重)的大小来确定哪些参数应该被剪枝,以减小模型的大小和复杂性。通常,参数的零值比例与阈值进行比较。原创 2023-10-26 18:13:35 · 902 阅读 · 0 评论 -
yolov7代码 | model.named_models
了解model.named_models,为剪枝做准备。剪枝有一些层如果你不想剪掉,那就用需要你会用 model.named_models功能。先放一段控制剪枝的代码,感受一下ignored_layers = [] # 这些层不剪枝。原创 2024-04-02 20:05:03 · 313 阅读 · 0 评论