MODNet-Compression探索之旅
文章平均质量分 97
这是笔者在模型剪枝项目中的冒险笔记,追寻那些能让神经网络更轻盈的神奇技巧。因此,这不是一份完美的指南,其中包含了许多尚不成熟的做法与错误,笔者虚心接受指正~~
Maitre Chen
Choose what I love, love what I choose.
展开
-
对 MODNet 网络结构直接剪枝的探索
在前面的文章中,笔者与小伙伴们分享了对 MODNet 主干网络部分以及其余分支分别剪枝的探索历程,即先分解、再处理、后融合的手法。然而,马克思曾深刻地思考社会的全面性,强调社会是一个复杂而相互关联的整体。在他的《资本论》中,他突显了社会结构的总体性,认为理解社会现象需要考虑各个层面的相互作用。正如马克思强调的那样,我们不能孤立地看待社会中的一部分,而是应该以全面、整体的视角去考虑其内在关系和矛盾。在这个思想的启发下,笔者将 MODNet 作为一个整体,直接做剪枝处理。原创 2024-01-24 15:54:57 · 990 阅读 · 1 评论 -
MODNet 剪枝再思考: 优化计算量的实验历程分享
通过再一次分析 MODNet 网络结构,笔者发现V1代的剪枝版本在计算量上处理得不够好,于是,本文从计算量的角度分析,对 MODNet 网络结构中计算量占比较大的部分重新进行剪枝处理,并进行参数替换。实验结果表明,剪枝后的模型相比原模型降低了一半的计算量,推理时延也有了明显的改进,然而,模型精度并不好!(1)从剪枝本身考虑相同情况下,大 sparse 导致更多的特征提取层无法提取到必要的特征,破坏了核心结构;固定整体剪枝比例存在漏洞,导致有些模块去除了重要程度较高的通道;原创 2024-01-21 23:22:26 · 1084 阅读 · 1 评论 -
对 MODNet 其他模块的剪枝探索
本文将分享笔者对MODNet 网络结构内部其他模块的剪枝探索,剪枝策略同前文主干网络是一样的,剪枝完成后对参数进行替换即可,接下来,就开启探索之旅吧~~原创 2024-01-21 13:58:17 · 851 阅读 · 0 评论 -
对MODNet 主干网络 MobileNetV2的剪枝探索
MODNet 将人像抠图分解成了三个相关的子任务:语义估计(Semantic Estimation)、细节预测(Detail Prediction)、语义-细节融合(Semantic-Detail Fusion),分别对应着模型结构中 Low-Resolution Branch(LR-Branch)、High-Resolution Branch(HR-Branch)、Fusion Branch(F-Branch) 三个分支。原创 2024-01-20 23:53:08 · 1757 阅读 · 4 评论 -
模型剪枝大揭秘与实战演练
我们可以把网络剪枝看成神经系统的减肥计划,去掉那些多余的神经元,让整个系统更精瘦、更灵活、表现更好!对我们而言,剪枝相当于做减法,去掉那些多余的烦恼、复杂性,这样,我们的生活就会像一杯清爽的果汁,简单而美好!因此,无论是神经网络,还是我们人类,减法都是提升性能的秘诀!让我们一同去寻找属于自己的减法,携手共创美好未来!原创 2024-01-20 16:59:02 · 1671 阅读 · 5 评论