超级会员免费看
该博客详细介绍了如何基于PyTorch进行模型压缩，包括量化（High-Bit和Low-Bit）、剪枝（稀疏训练和微调）、BN融合以及在TensorRT上的部署。实验涉及多种量化位数和剪枝率的组合，以达到最佳性能和效率。还探讨了量化训练和推理、以及不同模型结构的压缩效果。
1）量化：High-Bit(>2b): QAT, PTQ, QAFT; Low-Bit(≤2b)/Ternary and Binary: QAT
2）剪枝：正常、规整和分组卷积结构剪枝
3）针对特征(A)二值量化的BN融合(训练量化后，BN参数 —> conv的偏置b)
4）High-Bit量化的BN融合(训练量化中，先融合再量化，融合：BN参数 —> conv的权重w和偏置b)
对比实验如下，相关代码下载地址：下载地址
| 类型 | W(Bits) | A(Bits) | Acc | GFLOPs | Para(M) | Size(MB) | 压缩率 | 损失 |
|---|---|---|---|---|---|---|---|---|
| 原模型(nin) | FP32 | FP32 |
订阅专栏 解锁全文
扫一扫
2327
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
