AMD UPDP：模型压缩新思路，扩展模型压缩边界

AI-Seeker

已于 2024-05-03 23:27:04 修改

阅读量876

点赞数 32

分类专栏： AI 顶会论文分享文章标签：人工智能计算机视觉性能优化

于 2024-05-03 23:10:19 首次发布

本文链接：https://blog.csdn.net/l1498487239/article/details/138427141

版权

UPDP是AMD提出的一种统一的模型压缩方法，通过模块替换、渐进训练和重参数技术，针对CNN和VisionTransformer模型进行高效压缩，尤其在处理深度卷积网络和Transformer中的复杂结构方面表现出色，实现了SOTA压缩效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、介绍

论文链接[2401.06426] UPDP: A Unified Progressive Depth Pruner for CNN and Vision Transformer (arxiv.org)
UPDP 是 AMD AEAI 发表的一篇做模型压缩的论文，该方法通过模块替换、插入，渐进性训练和重参数技术，能对 CNN 和 Vision Transformer 模型都进行压缩，并取得 SOTA 的压缩效果。
模型优化技术通常有模型剪枝，模型量化和 NAS 等技术，其中模型剪枝是一种非常重要的模型优化技术。模型剪枝通常可以分为 channel-wise 和 layer-wise 剪枝方法。channle-wise 剪枝方法通常分析出 Conv/MLP 层中不重要的 weights，通过 mask 置零这些不重要的权重和 retrain 恢复精度，最终得到剪枝的 model，layer-wise 方法则是比较粗粒度的直接剪掉不重要的 layer 或 block，最终通过 retrain 恢复精度然后得到剪枝的 model。
目前剪枝算法存在一些问题：channel-wise 剪枝算法对于有 depth-wise Conv 的模型如 MobileNet 系列，ConvNext 系列很难取得很好的效果。layer-wise 剪枝算法如 DepthShrinker 和 LayerFold 只在 MobileNet 和 ResNet 模型上验证过，同时这些方法是没法压缩含非BN 的 Norm Layer model